本 书签 着 


I» 


市 面 上 介绍 互动 的 、 面 向 对 象 的 Python 编程 语言 的 书 有 很 多 ， 其 强大 而 又 灵活 的 特性 ， 使 其 成 为 很 多 企图 通过 工具 来 实现 工作 ( 半 ) 自动 化 的 运营 同学 的 首选 。 更 难得 的 是 ， 本 书 作者 以 其 在 腾讯 游戏 
运营 的 工作 经 验 ， 辅 以 大 量 实际 的 案例 来 讲述 了 他 是 如 何 使 用 Python 来 解决 诸如 监控 、 安 全 、 订 制 报表 和 大 数据 应 用 等 问题 ， 以 及 构建 一 个 自动 化 运 维 的 平台 来 提升 运 维 工作 效率 ， 值 得 一 看 。 


腾讯 互动 娱乐 运营 部 副 总 经 理 ERA 


《Python 自动 化 运 维 : 技术 与 最 佳 实践 》 是 结合 刘 天 斯 先生 超过 十 年 ， 在 互联 网 行业 “天 涯 在 线 ” 及 “腾讯 ”等 的 工作 经 验 ， 实 际 贴近 工作 应 用 场景 所 把 写 的 书籍 ， 没 有 浮夸 的 文治 修饰 ， 只 有 实际 的 
落地 执行 和 动手 操 做 ， 可 以 作为 大 家 在 工作 中 的 工具 书 。 


全 书 以 系统 信息 的 了 解 、 采 集 、 监 控 ， 以 及 信息 良好 地 输出 为 开头 ， 以 提升 个 人 工作 效率 的 基础 运 维 工具 为 承接 ， 再 深入 介绍 集中 化 管理 海量 机 器 、 系 统 的 方案 ， 并 且 措 配 实际 的 例子 进行 介绍 ， 相 信 
能 够 覆盖 读者 的 大 部 分 应 用 场景 需求 ， 也 能 够 给 予 读者 相关 领域 的 入 门 指 引 。 


刘 天 斯 先生 的 精神 也 是 很 值得 推广 和 赞赏 的 ， 在 繁忙 的 工作 之 余 ， 能 够 思考 、 总 结 ， 并 且 能 够 以 文字 的 方式 与 更 多 的 人 分 享 和 传承 ， 是 除了 书籍 本 身 之 外 ， 我 学 习 到 的 重要 收获 。 
腾讯 互动 娱乐 运营 部 数据 中 心 总 监 ” 孙 龙 君 


在 移动 互联 和 大 数据 时 代 ， 无 论 是 出 于 对 效率 的 追逐 ， 还 是 应 对 海量 规模 运 维 ， 自 动 化 运 维 都 是 企业 的 必然 选择 。Python 因 为 具有 简单 、 灵 活 、 功 能 强大 和 适合 脚本 处 理 等 优点 ， 在 运 维 领域 被 广泛 使 
用 ， 让 很 多 运 维 工 程 师 从 烦琐 的 日 常 工作 中 解放 出 来 。 


天 斯 是 运 维 领 域 的 资深 专家 ， 人 在 互联 网 行业 工作 多 年 ， 不 仅 具 备 解决 各 种 运 维 难 题 的 强大 能 力 ， 拥 有 多 项 专利 ， 还 开发 过 多 个 运 维 利器 ， 非 常 受 欢 迎 。 本 书 是 国内 第 一 本 讲述 Python 如 何 应 用 在 自动 化 
运 维 领域 的 著作 ， 是 基于 天 斯 对 Python 自动 化 运 维 的 深入 研究 ， 以 及 在 海量 互联 网 实战 经 验 中 总 结 提炼 而 来 ， 具 有 高 度 可 读 性 和 实战 价值 。 


腾讯 架构 平台 部 运 维 服务 中 心 总 监 ” 孙 雷 


刘 天 斯 和 我 相识 于 上 腾讯， 期 间 我 正在 负责 腾讯 云 平台 相关 工作 。 腾 讯 有 一 个 优良 的 新 员工 培养 体系 ， 那 就 是 导师 制度 。 有 幸 作为 天 斯 的 导师 ， 让 我 接触 并 逐渐 深入 了 解 天 斯 。 所 以 当天 斯 找到 我 为 本 书 
写 推 荐 语 时 ， 我 欣然 应 多 ， 因 为 共事 期 间 天 斯 给 我 留 下 了 深刻 的 印象 。 时 至 今日 ， 在 中 国 的 互联 网 企业 里 ， 我 认为 天 斯 都 是 最 优秀 的 架构 师 之 一 。 


天 斯 来 腾讯 工作 之 前 ， 在 中 国 著 名 的 天 涯 社区 负责 整个 社区 的 运 维 工作 ， 经 历 了 天 涯 社区 从 Windows 平 台 到 开源 架构 的 大 改造 ， 因 此 对 B/S 相关 产品 的 技术 架构 和 细节 非常 熟悉 ;而 天 斯 又 是 一 个 在 技 
术 输 出 领域 非常 活跃 的 人 ， 自 己 维护 的 技术 博客 荣获 2010 年 度 十 大 杰出 IT 博客 ， 在 中 国 互联 网 技术 领域 小 有 名 气 。 


记得 来 腾讯 不 到 两 个 星期 ， 天 斯 就 向 我 提交 了 一 份 关 于 腾讯 业务 自动 化 运 维 的 技术 文档 ， 从 业务 的 部 署 到 监控 再 到 容 严 等 ， 都 理解 得 较为 深刻 。 这 份 输出 文档 让 我 眼前 一 亮 ， 当 时 第 一 感觉 是 这 个 典型 
的 在 生活 中 不 善 言辞 的 IT 男 ， 一 定 对 云 计 算 中 的 自动 运 维 管理 有 独到 的 思维 和 沉 省 。 


Python 语言 作为 获得 2010 年 度 编程 大 奖 的 语言 ， 具 备 诸多 优点 : 简单 、 开 源 、 速 度 快 、 可 移植 性 强 、 可 扩展 性 强 、 面 对 对 象 、 具 备 丰富 的 库 等 ;更 可 贵 的 是 ， 作 为 “胶水 语言 ”， 可 以 把 Python 嵌 入 
C/C++ 程序 等 ， 从 而 向 程序 用 户 提供 脚本 功能 。 


本 书 从 互联 网 业务 自动 运 维 的 场景 出 发 ， 以 Python 语言 为 基础 ， 总 结 了 大 量 的 实战 案例 ， 这 些 都 是 作者 在 十 余年 的 大 型 互联 网 运 维 工 作 中 的 宝贵 经 验 ， 相 信 会 给 读者 带 来 不 少 的 启发 。 


最 后 ， 感 谢 天 斯 能 给 中 国 互联 网 从 业者 带 来 这 么 好 的 分 享 ， 感 谢 我 们 的 老 东 家 一 一 中 国 互联 网 的 黄埔 军校 一 一 腾讯 培养 了 一 批 又 一 批 的 杰出 架构 师 。 


开卷 有 益 ， 我 想 应 该 就 是 指 的 此 类 书籍 吧 。 
微 赢 宝 创 始 人 EH] 
“Operation”， 运 维 在 互联 网 时 代 一 直 有 着 举足轻重 的 地 位 ， 而 近 两 年 运 维 本 身 这 个 群体 也 变 得 强大 起 来 ， 最 为 显著 的 特征 就 是 运 维 人 员 所 出 的 书 越 来 越 多 ， 而 都 以 “ 专 ”、“ 精 ”为 卖点 。 这 也 是 
作为 一 名 运 维 人 员 值 得 骄傲 的 地 方 。 
伴随 着 “ 云 时 代 ”、“ 物 联网 ”的 到 来 ,无论 数据 ， 还 是 服务 器 规模 都 达到 了 空前 的 庞大 ， 企 业 对 运 维 工作 人 员 的 要 求 也 由 之 前 的 运 维 维护 转 为 “DevOps”， 即 研发 型 运 维 ; 在 这 个 充满 挑战 的 时 
代 ， 任 何 一 个 岗位 都 需要 保持 持续 学 习 的 状态 ， 而 运 维 更 不 例外 。 


"Python" ， 运 维 的 标 配 语言 ， 比 起 Bash、Perl、PHP 等 ， 它 在 系统 管理 上 有 着 强大 的 开发 能 力 和 完整 的 工具 链 。 易 读 易 写 ， 兼 具 面 向 对 象 和 六 数 式 风格 ， 还 有 元 编程 能 力 都 是 它 的 优势 所 在 。 最 关键 
的 地 方 在 于 ， 可 以 利用 Python 系 统 化 地 将 各 个 工具 进行 整合 ， 对 运 维 常用 工具 进行 二 次 开发 ， 形 成 一 套 完整 的 运 维 体系 。 “一 套 完整 的 产品 生命 周期 ”， 这 才 是 运 维 需 要 做 的 事情 。 


运 维 “三板 芽 ” : 系统 安装 、 命 令 执行 、 配 置 管理 ， 再 加 上 监控 与 日 志 分 析 等 这 些 都 是 我 们 最 常用 的 工具 ， 而 它们 都 有 Python 的 版 本 ， 例 如 : Fabric、Ansible、Saltstack、Func 等 ， 这 些 都 将 在 本 书 
《Python 自动 化 运 维 : 技术 与 最 佳 实践 》 中 向 大 家 一 一 呈现 ， 安 装 、 用 法 、 技 巧 、 特 别 是 大 量 实例 一 网 打 尽 。 为 了 让 读者 更 好 地 系统 学 习 ， 天 斯 又 写 了 前 端 以 及 从 “0” 开 始 打造 一 个 运 维 平台 ， 可 谓 用 心 
良 苦 。 

未 来 ， 中 小 型 企业 将 精 减 运 维 ， 不 会 开发 的 运 维 ， 竞 争 力 将 显得 更 加 单薄 ， 相 信 天 斯 多 年 运 维 开发 经 验 的 结晶 能 帮 到 大 家 。 

西山 居 架 构 师 ，《Puppet 实 战 》 作 者 ” 刘 字 

初 识 刘 天 斯 先生 是 邀 其 参加 我 在 ChinaUnix 举 办 的 活动 一 “后 万 级 pv 高 性 能 高 并 发 网 站 架构 与 设计 交流 ”， 刘 天 斯 先生 提出 的 架构 方案 ， 堪 称 成 熟 、 续 密 、 灵 动 ， 足 见 其 在 系统 运 维 领域 的 功力 。 纵 

观 《Python 自动 化 运 维 : 技术 与 最 佳 实践 》 一 书 ， 都 是 出 自 于 刘 天 斯 先生 在 天 涯 及 腾讯 工作 的 一 线 宝贵 经 验 ， 相 信 无 论 是 开发 人 员 还 是 系统 管理 员 们 均 能 从 中 学 习 到 新 的 知识 点 ， 使 自己 的 职业 生涯 更 上 一 


个 新 的 台阶 。 


融 贯 资讯 系统 架构 师 余 洪 春 


为 什么 要 写 这 本 书 


随 着 信息 时 代 的 迅速 发 展 ， 尤 其 是 互联 网 日 益 融 入 大 众生 活 ， 作 为 这 一 切 背 后 的 上 T 服 务 支 撑 ， 运 维 角色 的 作用 越 来 越 大 ， 传 统 的 人 工 运 维 方式 已 经 无 法 满足 业务 的 发 展 需求 ， 需 要 从 流程 化 、 标 准 化 、 
自动 化 去 构建 运 维 体系 ， 其 中 流程 化 与 标准 化 是 自动 化 的 前 提 条 件 ， 自 动 化 的 最 终 目的 是 提高 工作 效率 、 释 放 人 力 资源 、 节 约 运 营 成 本 、 提 升 业务 服务 质量 等 。 我 们 该 如 何 达成 这 个 目标 呢 ? 运 维 自动 化 工 


具 的 建设 是 最 重要 的 途径 ， 具 体 包 括 监控 、 部 署 变更 、 安 全 保障 、 故 障 处 理 、 运 营 数 据 报表 等 。 本 书 介 绍 如 何 使 用 Python 语 言 来 实现 这 些 功能 点 ， 以 及 Python 在 我 们 的 自动 化 运 维 之 路 上 发 挥 作用 ， 解 决 
了 哪些 运 维 问题 等 。 


为 什么 是 Python? Python 是 一 种 面向 对 象 、 解 释 型 计算 机 程序 设计 语言 ， 由 Guido van Rossum 于 1989 年 年 底 发 明 ， 具 有 简单 易学 、 开 发 效率 高 、 运 行 速度 快 、 跨 平台 等 特点 ， 尤 其 是 具有 大 量 第 三 
方 模块 的 支持 ， 其 中 不 乏 优秀 的 运 维 相关 组 件 ， 例 如 Saltstack、Ansible、Func、Fabric 等 。 大 部 分 运 维 人 员 为 非 专 业 开发 人 士 ， 对 他 们 而 言 ， 选 择 一 门 上 手 快 、 技 术 门 槛 低 的 开发 语言 非常 重要 。 由 于 
Python 具有 脚本 语言 的 特点 ， 学 习 资 源 多 ， 社 区 非常 活跃 ， 且 在 Linux 平 台 默 认 已 安装 等 优势 。Python 已 经 是 当今 运 维 领 域 最 流行 程 的 开发 语言 之 一 。 


2003 年 毕业 后 ， 我 的 第 一 份 工 作 是 当 PHP 程 序 员 ， 人 力 紧 张 时 还 要 兼顾 美工 的 工作 。 时 常 回想 ， 其 实 也 只 有 在 小 公司 才能 修炼 出 “十 八 般 武艺 p”。 在 “非典 ”肆虐 的 岁月 ， 大 部 分 公司 都 闭 门 不 招聘 ， 
一 个 毕业 生 能 有 这 样 的 机 会 锻炼 也 显得 尤为 珍贵 。 工 作 中 一 次 偶然 的 机 会 看 到 导师 诗 成 只 在 黑 漆 漆 的 界面 中 输入 不 同 指令 ， 第 一 感觉 非常 震撼 ， 很 酷 ， 联 想到 《黑客 帝国 》 电 影 中 的 画面 ， 与 之 前 接触 到 的 
Windows 系 统 完全 不 一 样 ， 后 来 才 晓 得 是 Redhat 9 ( 红 帽 9) 。 此 后 很 长 的 一 段 时 间 里 ， 整 个 人 完全 沉醉 在 Linux 的 世界 里 ， 处 于 一 种 痴迷 的 状态 ， 那 时 我 还 是 一 个 程序 员 。 


到 了 2005 年 10 月 ， 看 到 隔壁 公司 招聘 一 名 Linux 系 统 工程 师 ， 抱 着 试 一 试 的 心态 去 面试 ， 结 果 出 乎 意料 ， 我 被 录用 了 ， 这 样 我 就 找到 了 第 二 个 东家 一 一 天 涯 社区 。 人 生 的 第 一 个 转折 点 在 此 酝酿 ， 由 于 
赶 上 了 公司 快速 发 展 的 阶段 ， 接 触 到 了 很 多 开源 技术 ， 包 括 LVS、Squid、Haproxy、MongoDB、MySQL、Cfengine 等 ， 并 且 不 断 在 生产 环境 中 应 用 所 学 的 技术 ， 取 得 了 非常 不 错 的 效果 ， 重 点 业务 的 高 
可 用 持续 保持 在 99.99%。 期 间 新 的 问题 也 陆续 出 现 ， 包 括 如 何 更 好 整合 各 类 开源 组 件 ， 发 挥 其 最 大 效能 ， 以 及 如 何 高 效 运营 。 不 可 否认， 具有 开发 背景 的 运 维 人 员 有 着 先天 优势 ， 可 以 在 不 同 角色 之 间 进 行 
思考 ， 扩 大 视野 。 期 间 我 参与 了 推动 大 量 标准 化 、 规 范 化 的 建设 ， 以 此 为 前 提 ， 开 发 了 “SDR1.0-Linux 主 机 集中 管理 ”、 “天 涯 LVS 管 理 系统 ”、 “天 涯 服务 器 管理 系统 (C/S 与 B/S 版 ) ”、 “服务 器 机 柜 
模拟 图 平台 、 “Varnish 缓 存 推送 平台 V1.0” 等 平台 ， 这 些 平台 在 很 大 程度 上 改变 了 运 维 人 员 手 工作 坊 式 的 工作 模式 。 在 释放 人 力 的 同时 ， 我 看 到 国内 其 他 公司 的 同仁 也 在 做 同样 的 事情 ， 突 然 间 有 一 个 想 
法 ， 就 是 开源 。 此 时 已 经 是 2009 年 ， 这 个 想法 也 得 到 系统 部 经 理 小 军 认 可 ， 同 年 12 月 陆续 在 code.google.com 平 台 托 管 ， 让 业界 更 深入 了 解 天 涯 社区 的 技术 架构 。 赁 着 这 些 作品 及 分 享 的 技术 文章 ， 我 的 博 
客 “ 运 维 进 行 时 ”  (http:;//blog.liuts.com/) 荣获 了 “2010 年 度 十 大 杰出 IT 博 客 ” 的 殊荣 。 我 还 先后 参与 了 51CTO、1IT168、CU 等 门户 网 站 以 架构 、 运 维 为 主题 的 专访 ， 在 运 维 圈 得 到 越 来 越 多 同仁 的 认 
同 。 


再 谈 谈 如 何 与 Python 结缘 。 接 触 Python 是 从 《简明 Python 教程 》 开 始 ， 由 于 我 有 Per 与 PHP 的 基础 ， 学 习 Python 没 有 太 大 压力 。 事 实 上 ，Python 的 简洁 、 容 易 上 手 以 及 大 量 第 三 方 模块 等 特点 ， 深 
深 吸引 了 我 ， 让 我 第 二 次 沉醉 于 知识 的 海洋 。 我 很 快 深入 学 习 了 Func、Django 框 架 、SQLAIchemy、BeautifulSoup、Pys60、wxPython、Pygame、wmi 等 经 典 模块 ， 同 时 将 所 学 知识 应 用 到 运 维 体系 
中 ， 解 决 在 工作 中 碰 到 的 问题 。 例 如 ， 开 发 的 “多 节点 应 用 延 时 监控 平台 ”解决 了 多 运 莒 商 网络 环 境 下 的 业务 服务 质量 监控 问题 ; 开发 的 “Varnish&squid 缓 人 存 推送 平台 ”解决 了 快速 刷新 缓存 对 象 的 问 
题 。 再 例如 ， 删 除 敏 感 帖子 的 时 效 性 要 求 非常 高 ， 需 要 在 后 台 触 发 删除 后 立即 生效 ， 与 缓 仓 推送 平台 对 接 后 很 好 地 解决 了 这 一 问题 ; 天 涯 服务 器 管理 系统 (C/S、B/S、 移 动 版 ) 实现 自助 、 智 能 、 多 维度 接 
入 ， 提 高 了 运 维 效率 ， 减 少 了 人 工 误 操作 ， 释 放 了 人 力 资 源 ， 同 时 标准 化 与 流程 化 得 到 技术 保障 与 实施 落地 。 


天 涯 社区 是 我 个 人 职业 生涯 的 培育 期 ， 让 我 重新 审视 自我 ， 明 确 了 未 来 的 规划 与 定位 。2011 年 9 月 是 我 职业 生涯 的 成 长 期 的 开始 ， 加 盟 了 腾讯 ， 负 责 静 态 图 片 、 大 游戏 下 载 业务 CDN 的 运 维 工作 ， 接 触 
到 庞大 的 用 户 群 、 海 量 的 资源 (设备 、 带 宽 、 存 储 ) 、 世 界 级 的 平台 、 人 性 化 的 工作 氛围 以 及 大 量 优秀 的 同事 。 所 有 的 这 些 都 深 深 地 吸引 着 我 ， 也 让 我 的 视野 与 工作 能 力 得 到 前 所 未 有 的 提升 。 分 工 细 化 产 
生 运 维 工作 模式 的 差异 ， 从 “ 单 兵 作战 ”转向 “集团 军 作 战 ”。 我 继续 保持 着 对 新 技术 的 狂热 ， 思 考 如 何 使 用 Python 在 运 维 工 作 中 发 挥 作 用 。 工 作 期 间 研 究 了 大 量 高 级 组 件 ， 包 括 Paramiko、Fabric、 
saltstack、Ansible、Func 等 ， 这 些 组 件 有 了 更 高 级 的 封装 ， 强 大 且 灵 活 ， 贴 近 各 类 业务 场景 。 我 个 人 也 基于 Python 开发 了 集群 自动 化 操作 工具 一 yorauto， 人 在 公司 各 大 事业 群 广泛 使 用 ， 同 时 入 选 公司 
精品 推荐 组 件 。 我 的 部 分 个 人 发 明 专 利 使 用 Python 作为 技术 实现 。 目 前 我 也 关注 大 数据 发 展 趋势 ， 研 究 Python 在 大 数据 领域 所 扮演 的 角色 。 


回 到 主题 “为 什么 要 写 这 本 书 ”， 这 一 点 可 以 从 51CTO 对 我 的 专访 中 找到 答案 。 当 时 的 场景 是 这 样 的 : 


51CTO: 您 对 开源 是 如 何 理解 的 ? 天 涯 社区 在 过 去 两 年 间 陆 续 开源 了 包含 LVS 管 理 系统 、Varmish 缓 存 推送 平台 、 高 性 能 数据 引 掌 memlink 等 好 几 个 项 目 ， 业 内 人 士 对 此 都 十 分 关注 ， 您 认为 这 给 整个 产业 
带 来 了 哪些 好 处 ? 身 为 天 涯 社区 的 一 位 运 维 人 员 ， 您 认为 在 这 个 过 程 中 自己 的 价值 在 哪里 ? 


刘 天 斯 : 开源 就 是 分 享 ， 让 更 多 人 受益 的 同时 自己 也 在 提高 。 经 常 看 到 很 多 朋友 都 在 做 监控 平台 、 运 维 工具 。 事 实 上 功能 惊人 相似 ， 大 家 都 在 做 重复 的 工作 ， 为 什么 不 能 由 一 个 人 开源 出 来 ， 大 家 一 起 
来 使 用 、 完 善 呢 。 这 样 对 整个 行业 来 讲 ， 这 块 的 投入 成 本 都 会 降低 ， 对 个 体 来 讲 也 是 资源 的 整合 。 如 果 形 成 良性 循环 ， 行 业 的 生态 环境 将 会 有 很 大 程度 的 改善 。 本 人 热衷 于 开源 技术 ， 同 样 也 愿意 为 开源 贡 
献 自己 一 分 微薄 之 力 ， 希 望 更 多 的 人 能 支持 开源 、 参 考 开 源 。 


这 就 是 我 的 初衷 ， 也 是 答案 。 写 书 的 意义 在 于 将 10 年 的 工作 沉 泻 、 经 验 、 思 路 方法 做 个 梳理 与 总 结 ， 同 时 与 大 家 分 享 。 最 终 目 的 是 为 每 个 渴 户 学习、 进步、 提升 的 运营 人 员 提 供 指导 。 
读者 对 象 

系统 架构 师 、 运 维 人 员 

" 运营 开发 人 员 

: Python 程序 员 

.系统 管理 员 或 企业 网 管 


.大专 院 校 的 计算 机 专业 学 生 


如 何 阅读 本 书 


第 一 部 分 为 基础 篇 (第 1~4 章 ) ， 介 绍 Python 在 运 维 领 域 中 的 常用 基础 模块 ， 履 盖 了 系统 基础 信息 、 服 务 监控 、 数 据 报 表 、 系 统 安全 等 内 容 。 

第 二 部 分 为 高 级 篇 (第 5~12 章 ) ， 着 重 进 解 Python 在 系统 运 维 生命 周期 中 的 高 级 应 用 功能 ， 包 括 相 天 自 动 化 操作 、 系 统管 理 、 配 置 管理 、 集 群 管 理 及 大 数据 应 用 等 内 容 。 
第 三 部 分 为 案例 篇 (第 13~16 章 ) ， 通 过 讲解 4 个 不 同 功能 运 维 平台 案例 ， 让 读者 了 解 平台 的 完整 架构 及 开发 流程 。 

说 明 : 

` 书 中 的 代码 以 “【 路 径 】 ”方式 引用 ,测试 路 径 为 “/home/test/ 模 块 、、“/data/www/ 项 目 ”。 

书 中 涉及 的 所 有 示例 及 源码 的 Github 地 址 为 https://github.com/yotkoliu/pyauto， 以 章节 名 称 作为 目录 层次 结构 ， 模 块 及 项 目 代 码 分 别 存 放 在 对 应 的 章节 目录 中 。 


其 中 第 三 部 分 以 接近 实战 的 案例 来 讲解 ， 相 比 于 前 两 部 分 更 独立 。 如 果 你 是 一 名 经 验 丰富 Linux 管 理 员 且 具有 Python 基础 ， 可 以 直接 切入 高 级 篇 。 但 如 果 你 是 一 名 初学 者 ， 请 一 定 从 基础 篇 开始 学 习 。 
本 书 不 涉及 Python 基础 知识 ， 推 荐 新 手 在 线 学 习 手册 : 《简明 Python 教程 》 与 《深入 Python: Dive Into Python 中 文 版 》。 


勘误 和 支持 


ELTGBRES, BASHA, BIBXESS AUI Eiaa MERR, RARA FE. Ae, "ESI CES MAREA: http://qa.liuts.com。 你 可 以 将 书 中 的 
错误 上 发布 到 “错误 反馈 ”分 类 中 ， 同 时 如 果 你 遇 到 任何 问题 或 有 任何 建议 ， 也 可 以 在 问答 站 点 中 发 表 ， 我 将 尽量 在 线 上 提供 最 满意 的 解答 。 我 也 会 将 及 时 更 新 相应 的 功能 更 新 。 如 果 你 有 更 多 的 宝贵 意见 ， 
欢迎 发 送 邮件 至 邮箱 liutiansi@gmailcom， 期 待 能 够 得 到 你 们 的 真挚 反馈 。 
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* 第 1 章 系统 基础 信息 模块 详解 


RIF “定制 业务 质量 报表 详解 


. 第 4 章 Python 与 系统 安全 


第 1 草 ”系统 基础 信息 模块 详解 


系统 基础 信息 采集 模块 作为 监控 模块 的 重要 组 成 部 分 ， 能 够 帮助 运 维 人 员 了 解 当 前 系统 的 健康 程度 ， 同 时 也 是 衡量 业务 的 服务 质量 的 依据 ， 比 如 系统 资源 吃紧 ， 会 直接 影响 业务 的 服务 质量 及 用 户 体 
验 ， 另 外 获取 设备 的 流量 信息 ， 也 可 以 让 运 维 人 员 更 好 地 评估 带宽 、 设 备 资源 是 否 应 该 扩容 。 本 章 通过 运用 Python 第 三 方 系统 基础 模块 ， 可 以 轻松 获取 服务 关键 运营 指标 数据 ， 包 括 Linux 基 本 性 能 、 块 设 
备 、 网 卡 接口 、 系 统 信息 、 网 络 地 址 库 等 信息 。 在 采集 到 这 些 数 据 后 ， 我 们 就 可 以 全 方位 了 解 系统 服务 的 状态 ， 再 结合 告警 机 制 ， 可 以 在 第 一 时 间 响 应 ， 将 异常 出 现在 苗头 时 就 得 以 处 理 。 


本 章 通过 具体 的 示例 来 帮助 读者 学 习 、 理 解 并 掌握 。 在 本 章 接 下 来 的 内 容 当 中 ， 我 们 的 示例 将 在 一 个 连续 的 Python 交互 环境 中 进行 。 


进入 Python 终端 ， 执 行 python 命 令 进 入 交互 式 的 Python 环境 ， 像 这 样 : 


4 python 

Python 2.6.6 (r266: 84292, Nov 22 2013, 12: 16: 22) 

[GCC 4.4.7 20120313 (Red Hat 4.4.7-4) ] on linux2 

Type "help", "copyright", "credits" or "license" for more information. 
>>> 


1.1 ”系统 性 能 信息 模块 psutil 


psutil 是 一 个 跨 平台 库 (http://code.google.com/p/psutil/) ， 能 够 轻松 实现 获取 系统 运行 的 进程 和 系统 利用 率 (包括 CPU、 内 存 、 磁 盘 、 网 络 等 ) 信息 。 它 主要 应 用 于 系统 监控 ,分 析 和 限制 系统 资 
源 及 进程 的 管理 。 它 实现 了 同等 命令 行 工具 提供 的 功能 ， 如 ps、top、lsof、netstat、ifconfig、who、df、Kkil、free、nice、ionice、iostat、iotop、uptime、pidof、tty、taskset、pmap 等 。 目 前 支持 
32 位 和 64 位 的 Linux、Windows、OS X、FreeBSD 和 Sun Solaris 等 操作 系统 ， 支 持 从 2.4 到 3.4 的 Python 版 本 ， 目 前 最 新 版 本 为 2.0.0。 通 党 我 们 获取 操作 系统 信息 往往 采用 编写 shell 来 实现 ， 如 获取 当前 物 
理 内 存 总 大 小 及 已 使 用 大 小 ，shell 命 令 如 下 : 


物理 内 存 total 值 : free -m | grep Mem | awk '(print $2)' 
物理 内 存 useq 值 : free -m | grep Mem | awk '{print $3}' 


相 比 较 而 言 ， 使 用 psutil 库 实现 则 更 加 简单 明了 。psutil 大 小 单位 一 般 都 采用 字 节 ， 如 下 : 


>>> import psutil 

>>>mem = psutil.virtual memory () 
>>>mem.total, mem.used 
(5062778881, 500367360L) 


psutil 的 源码 安装 步骤 如 下 : 


#wget https: / /pypi.python.org/packages/source/p/psutil/psutil-2.0.0.tar.gz --no-check-certificate 
# tar -xzvf psutil-2.0.0.tar.gz 

f cd psutil-2.0.0 

# python setup.py install 


1.1.1 获取 系统 性 能 信息 


采集 系统 的 基本 性 能 信息 包括 CPU、 内 人 存 、 磁 盘 、 网 络 等 ， 可 以 完整 描述 当前 系统 的 运行 状态 及 质量 。psutil 模 块 已 经 封装 了 这 些 方法 ， 用 户 可 以 根据 自身 的 应 用 场景 ， 调 用 相应 的 方法 来 满足 需求 ， 非 


(1) CPU 信息 
Linux 操 作 系统 的 CPU 利 用 率 有 以 下 几 个 部 分 : 
| User Time， 执 行 用 户 进程 的 时 间 百 分 
“ System Time， 执 行内 核 进程 和 中 断 的 时 间 百 分 
: Wait IO ， 由 于 IO 等 待 而 使 CPU 处 于 idle (空闲 ) 状态 的 时 间 百 分 
.Idle，CPU 处 于 idle 状 态 的 时 间 百 分 


我 们 使 用 Python 的 psutil.cpu_times () 方法 可 以 非常 简单 地 得 到 这 些 信息 ， 同 时 也 可 以 获取 CPU 的 硬件 相关 信息 ， 比 如 CPU 的 物理 个 数 与 逻辑 个 数 ， 具 体 见 下 面 的 操作 例子 : 


>>> import psutil 

>>>psutil.cpu times O # 使 用 cpu times 方 法 获取 CPU 完整 信息 ， 需 要 显示 所 有 逻辑 CPU 信息 ， 
>>># 指 定 方法 变量 percpu= True 即 可 ， 如 Psutil.cpu times (percpu-True) 

scputimes (user-38.039999999999999, nice=0.01， system-110.88, idle-177062.59, iowait=53.399999999999999， irq-2.9100000000000001, softirq-79.579999999999998, steal=0.0， gu 
»»»psutil.cpu times () .user # 获 取 单 项 数据 信息 ， 如 用 户 user 的 CPU 时 间 比 


38.0 
»»»psutil.cpu count O # 获 取 CPU 的 逻辑 个 数 ， 默 认 logical=True4 
>>>psutil.cpu count (logical=False) # 获 取 CPU 的 物理 个 数 
2 
>>> 
(2) 内 存 信息 


Linux 系 统 的 内 存 利用 率 信息 涉及 total (内 存 总 数 ) 、used (已 使 用 的 内 存 数 ) free (空闲 内 存 数 ) . buffers (缓冲 使 用 数 ) 、cache (缓存 使 用 数 ) . swap (交换 分 区 使 用 数 ) 等 ， 分 别 使 用 
psutil.virtual memory () 与 psutil.swap_memory() 方法 获取 这 些 信息 ， 有 具体 见 下 面 的 操作 例子 : 


>>> import psutil 

»»»mem = psutil.virtual memory () Hi FHpsutil.virtual _ memory 方法 获取 内 存 完整 信息 
»»»mem 
svmem (total-506277888L.  available-204951552L, percent-59.5, used-499867648L, £free-6410240L. active-245858304, inactive-163733504, buffers=117035008L， cached-81506304) 


>>>mem. total # 获 取 内 存 总 数 
506277888L 
»»»mem.free # 获 取 空 闲 内 存 数 
6410240L 
»»»psutil.swap memory () # 获 取 SWAP 分 区 信息 sswap (total-1073733632L, used=0L, free=1073733632L, percent=0.0, sin=0, sout=0) 
>>> 
(3) 磁盘 信息 


在 系统 的 所 有 磁盘 信息 中 ， 我 们 更 加 关注 磁盘 的 利用 率 及 IO 信息 ， 其 中 磁盘 利用 率 使 用 psutil.disk_usage 方 法 获取 。 磁 盘 IO 信 息 包 括 read_count (i&lOZX) . write count ( 写 1O 数 ) 、 
read bytes (1O 读 字 节 数 ) . write bytes (10 写 字 节 数 ) 、read time (磁盘 读 时 间 ) 、write time (磁盘 写 时 间 ) 等 。 这 些 IO 信 息 可 以 使 用 psutil.disk io counters () 获取 ， 具 体 见 下 面 的 操作 例子 : 


»»»psutil.disk partitions () # 使 用 psutil.disk partitions 方 法 获取 磁盘 完整 信息 
[sdiskpart (device='/dev/sdal', mountpoint-'/', fstype='ext4', opts-'rw') , sdiskpart (device='/dev/sda3', mountpoint='/data', fstype='ext4', opts='rw') ] 
>>> 


>>>psutil.disk usage ('/')  # 使 用 psutil.disk usage 方 法 获取 分 区 (参数 ) 的 使 月 


情况 


AL 


sdiskusage (total=15481577472, used=4008087552, free=10687057920, percent=25.899999999999999) 

Bini EE O 使 用 psutil. .disk io counters 获 取 硬 盘 总 的 IO 个 数 、 

sdiskio (read count=9424, c 35824, read bytes-128006144, write bytes-204312576, read time-72266, write time-182485) 

S sem disk io counters (perdisk-True)  #"perdisk=True” 参 数 获取 单个 分 区 IO 个 数 、 

{'sda2': sdiskio (read count=322, uu m read bytes-1445888, write bytes-0, read time-445, write time-0) , 'sda3': sdiskio (read count-618, write count-3, read b 


(4) 网 络 信息 


系统 的 网 络 信息 与 磁盘 IO 类 似 ， 涉 及 几 个 关键 点 ， 包 插 bytes_sent (发 送 字 节 数 ) . bytes recv-28220119 (接收 字 节 数 ) . packets sent=200978 (发 送 数据 包 数 ) . packets recv=212672 (接收 
数据 包 数 ) 等 。 这 些 网 络 信息 使 用 psutil.net io counters () 方法 获取 ， 有 具体 见 下 面 的 操作 例子 : 


>>>psutil.net io counters O # 使 用 psutil.net io _ counters 获 取 网 络 总 的 IO 信息 ， 默 
# 认 pernic=False 
snetio (bytes sent-27098178, bytes _ recv-28220119, packets sent-200978, panker recv=212672, rrin=0, errout=0, dropin=0, dropout=0) 


»»»psutil.net io counters (pernic-True)  #pernic=True 输 出 每 个 网 络 接 口 的 IO 信 息 {'lo': snetio (bytes sent-26406824, bytes recv-26406824, packets sent-198526, packets recv-198526, 
>>> 


(5) 其 他 系统 信息 


除了 前 面 介绍 的 几 个 获取 系统 基本 信息 的 方法 ，psutil 模 块 还 支持 获取 用 户 登录 、 开 机 时 间 等 信息 ， 具 体 见 下 面 的 操作 例子 : 


>>>psutil.users () # 使 用 psutil .users 方 法 返回 当前 登录 系统 的 用 户 信息 
[suser (name-'root', terminal='pts/0', host-'192.168.1.103', startedq=1394638720.0) ， suser (name-'root', terminal-'pts/1', host-'192.168.1.103', started-1394723840.0) ] 


>>> import psutil, datetime 

»»»psutil.boot time () # 使 用 psutil1.boot time 方 法 获取 开机 时 间 ， 以 Linux 时 间 惟 格式 返回 
1389563460.0 

>>>datetime.datetime.fromtimestamp (psutil.boot time () ) .strftime ("$Y-$m-$d $H: $M: %S") 
'2014-01-12 22: 51: 00" # 转 换 成 自然 时 间 格 式 


1.1.2 ”系统 进程 管理 方法 


获得 当前 系统 的 进程 信息 ， 可 以 让 运 维 人 员 得 知 应 用 程序 的 运行 状态 ， 包 括 进程 的 启动 时 间 、 查 看 或 设置 CPU 亲 和 度 、 内 存 使 用 率 、1O 信 息 、socket 连 接 、 线 程 数 等 ， 这 些 信息 可 以 呈现 出 指定 进程 是 


否 存活 、 资 源 利用 情况 ， 为 开发 人 员 的 代码 优化 、 问 题 定 位 提供 很 好 的 数据 参考 。 


(1) 进程 信息 


psutil 模 块 在 获取 进程 信息 方面 也 提供 了 很 好 的 支持 ， 包 括 使 用 psutil.pids () 方法 获取 所 有 进程 PID， 使 用 psutil.Process () 方法 获取 单个 进程 的 名 称 、 路 径 、 状 态 、 系 统 资源 利用 率 等 信息 


下 面 的 操作 例子 : 


>>> import psutil 


>>>psutil.pids () # 列 出 所 有 进程 PID 

[1 2, 3 4, 5, 6 7, 8, 9, 10 11, 12, 13, 14, 15, 16, 17, 18, 19...] 
>>> p = psutil.Process (2424) ”# 实 例 化 一 个 Process 对 象 ， 参 数 为 一 进程 PID 

>>> p.name O HZ 

'java' 

>>> p.exe O 4Bifébinlkit 


'/usr/java/jdk1.6.0 45/bin/java' 


程 工作 


>>>p.cwd O 机 


录 绝 对 路 径 


'/usr/local/hadoop-1.2 


ER 
RA 


>>>p.status () 
'sleeping' 
»»»p.create time () 
1394852592.6900001 


BEES 


»»»p.uids O # 进 程 uid 信 息 
puids (real-0, effective=0,  saved- 
»»»p.gids O # 进 程 gid 信 息 
pgids (real-0, effective=0,  saved- 


»»»p.cpu times () 


pcputimes (user= 9.0500000000000007, 


>>>p.cpu affinity O 
[0， 1] 

»»»p.memory | 
14.147714861289776 
>>>p .memory info () 
pmem (rss-71626752, 
>>>p.io counters () 
pio (read count-41133, 


percent () 


»»»p.connections () # 返 回 打 开 进 程 
# 等 信息 

[pconn (fd-65, family-10, type-l, 

»»»p.num threads O # 进 程 开 启 的 线 


33 


(2) popen 类 的 使 用 


# 进 程 创建 时 间 ， 


M HE 
0) 
0) 


# 进 程 CPU 时 间 信 息 ， 包 括 user、system 两 个 CPU 时 间 


system-20.25) 


#get 进 程 CPU 亲 和 度 ， 如 要 设置 进程 CU 亲 和 度 ， 将 CPU 号 作为 参数 即 可 
# 进 程 内 存 利用 率 
# 进 程 内 存 rss、vms 信 息 


vms= 1575665664) 


8 TÉI ofa E Dv 


write count= 


包括 读 写 IO 数 及 字 节 数 
16811, read bytes=37023744, 
socket 的 namedutples 列 表 ， 包 括 fs、 


write bytes=4722688) 
Family. laddr 


laddr- (': : ffff: 
程 数 


192.168.1.20', 


9000) , 


raddr- (P, aa] 


psutil 提 供 的 popen 类 的 作用 是 获取 用 户 启动 的 应 用 程序 进程 信息 ， 以 便 跟踪 程序 进程 的 运行 状态 。 具 体 实现 方法 如 下 : 


>>> import psutil 
>>>f 


from subprocess import P 


NAET E TE E 


>>> p = psutil.Popen (["/usr/bin/python", 


>>>p.name () 

'python' 
»»»p.username () 
'root' 
»»»p.communicate () 
('hello\n', None) 
»»»p.cpu times O 
pcputimes (user=0.01, 


Qs 


可 以 跟踪 该 程序 运行 的 所 


"oon, "prini 


9 相关 信息 
t C'hello') "], 


# 得 到 进程 运行 的 CPU 时 间 ， 更 多 方法 见 上 一 小 节 
system-0.0400000000000 


00001) 


-1.1.1 $ RA A https://github.com/giampaolo/psutil 。 


1.1.1 节 模块 说 明 参 考官 网 http://psutil.readthedocs.org/en/latest/。 


1.2 ”实用 的 IP 地 址 处 理 模块 IPy 


iP 地址 规划 是 网 络 设计 中 非常 重要 的 一 个 环节 ， 规 划 的 好 坏 会 直接 影响 路 由 协议 


P 类 型 等 。 


广播 地 址 、 子 网 数 、| 
详细 介绍 


以 下 是 IPy 模 块 的 安装 ， 这 里 采用 源码 的 安装 方式 : 


# wget https: 
# tar -zxvf 
# cd IPy-0.81 
# python setup.py ins 


IPy-0.81 


/ /pypi.python.org/packages/source/ 
bacagz 


tall 


1.2.1 1IP 地 址 、 网 段 的 基本 处 理 
1Py 模 块 包含 1P 类 
>>>IP ("10.0.0.0/8') .version O 
4 #4 代 表 IPv4 类 型 
>>>IP (': : 1') .version O 
6 #6 代 表 IPv6 类 型 
通过 指 


IP 


from 
ip = IP ('192. 
print ip.len O 
for x in ip: 
print (x) 


IPy impor! 


# 输 


执行 结果 如 下 : 


65536 
192.168.0.0 


定 的 网 段 输出 该 网 段 的 IP 个 数 及 所 有 IP 地 址 清单 ， 


168.0.0/16') 
出 192.168.0.0/16 网 段 的 I 
# 输 出 192.168.0.0/16 网 段 的 所 有 工 


Py/ 


代码 如 下 : 


P 清 单 


stdout-PIPE 


， 使 用 它 可 以 方便 处 理 绝 大 部 分 格式 为 IPv6 及 IPv4 的 网 络 和 地 址 。 比 如 通 


算法 的 效率 ， 
Python 提供 了 一 个 强大 的 第 三 方 模块 IPy (https://github.com/haypo/python-ipy/) , 


包括 网 络 性 能 、 可 扩展 性 等 方面 ， 在 这 


Py-0.81.tar.gz --no-check-certificate 


甬 过 Version 方 法 就 可 以 区 分 出 IPv4 与 IPv6， 如 : 


VEU 


个 过 程 当中 ， 免 不 了 要 计算 大 量 的 IP 地 址 ， 包 括 网 段 、 网 络 掩 码 、 
最 新 版 本 为 V0.81。 


见 


IPy 模 块 可 以 很 好 地 辅助 我 们 高 效 完成 IP 的 规划 工作 ， 下 面 进行 


CO cCcc0000cC 
co —-10Yy 01; CO PO S 


下 面 介 绍 IP 类 几 个 常见 的 方法 ， 包 括 反 向 解析 名 称 、1P 类 型 、IP 转 换 等 。 


>>>from IPy import IP 
>>>ip = IP ('192.168.1.20') 


3 


>>>ip.reverseNames () # 反 向 解析 地 址 格式 
['20.1.168.192.in-addr.arpa.'] 

»»»ip.iptype O #192.168.1.20 为 私 网 类 型 'PRIVATE' 
>>> IP ('8.8.8.8') .iptype © #8.8.8.8 为 公 网 类 型 
' PUBLIC' 

>>> IP ("8.8.8.8") .int © # 转 换 成 整 型 格式 
134744072 

>>> IP ('8.8.8.8') .strHex () # 转 换 成 十 六 进 制 格式 
'0x8080808' 

>>> IP ('8.8.8.8') .strBin O # 转 换 成 二 进 制 格式 


'00001000000010000000100000001000' 
>>> print (IP (0x8080808) ) # 十 六 进 制 转 成 IP 格 式 
8.8.8.8 


1P 方 法 也 支持 网 络 地 址 的 转换 ， 例 如 根据 IP 与 掩 码 生产 网 段 格式 ， 如 下 : 


>>>from IPy import IP 
»»»print (IP ('192.168.1.0') .make net ('255.255.255.0') D 
192.168.1.0/24 
»»»print (IP (!'192.168.1.0/255.255.255.0', make net-True) ) 


»»»print (IP ('192.168.1.0-192.168.1.255', make net-True) ) 


>>>IP ('192.168.1.0/24') .strNormal (0) 


>>IP ('192.168.1.0/24') .sStrNormal (1) 


192.168.1.0/255.255.255.0' 
>>IP ('192.168.1.0/24') .strNormal (3) 
192.168.1.0-192.168.1.255' 


» 
>>>IP ('192.168.1.0/24') .strNormal (2) 
» 


wantprefixlen 的 取 值 及 含义 : 

- wantprefixlen=0， 无 返回 ， 如 192.168.1.0; 

- wantprefixlen=1，prefix 格 式 ， 如 192.168.1.0/24; 

- wantprefixlen=2，decimalnetmask 格 式 ， 如 192.168.1.0/255.255.255.0; 


- wantprefixlen 二 3 ，]lastIP 格 式 ， 如 192.168.1.0-192.168.1.255。 


1.2.2 多 网 络 计算 方法 详解 


有 时 候 我 们 想 比 较 两 个 网 段 是 否 存 在 包含 、 重 对 等 关系 ， 比 如 同 网 络 但 不 同 prefixlen 会 认为 是 不 相等 的 网 段 ， 如 10.0.0.0/16 不 等 于 10.0.0.0/24， 另 外 即使 具有 相同 的 prefixlen 但 处 于 不 同 的 网 络 地 址 ， 
同样 也 视 为 不 相等 ， 如 10.0.0.0/16 不 等 于 192.0.0.0/16。1Py 支 持 类 似 于 数值 型 数据 的 比较 ， 以 帮助 1P 对 象 进行 比较 ， 如 : 


>>>IP ('10.0.0.0/24') « IP ('12.0.0.0/24") 
True 


判断 IP 地 址 和 网 段 是 否 包 含 于 另 一 个 网 段 中 ， 如 下 : 


>>> '192.168.1.100' in IP ('192.168.1.0/24') 

True 

>>>IP ('192.168.1.0/24') in IP ('192.168.0.0/16') 
True 


MUTET ERE Cr tEERER, SKRHIPytetBoverlaps75;E, 40: 


>>>IP ('192.168.0.0/23') .overlaps ('192.168.1.0/24') 

1 — GERE ER 

>>>IP ('192.168.1.0/24') .overlaps ('192.168.2.0"') 
ORAT E ERE 


[e 

XE 

[zd 
H 


示例 ”根据 输入 的 IP 或 子 网 返回 网 络 、 掩 码 、 广 播 、 反 向 解析 、 子 网 数 、IP 类 型 等 信息 。 


#! /usr/bin/env python 
from IPy import IP 
ip s = raw input ('Please input an IP or net-range: ') # 接 收 用 户 输入 ， 参 数 为 TP 地 址 或 网 段 地 址 
ips = IP (ip s) 


if len (ips) > 1: # 为 一 个 网 络 地 址 
print ('net: $s' $ ips.net O ) # 输 出 网 络 地 址 
print ('netmask: %s' $ ips.netmask O ) # 输 出 网 络 掩 码 地 址 
print ('broadcast: %s' $ ips.broadcast () ) # 输 出 网 络 广播 地 址 
print ('reverse address: %s' $ ips.reverseNames () [0]) # 输 出 地 址 反 向 解析 
print ('subnet: $s' $ len (ips) ) # 输 出 网 络 子 网 数 
else: # 为 单个 IP 地 址 
print ('reverse address: %s' $ ips.reverseNames () [0]) # 输 出 IP 反 向 解析 
print ('hexadecimal: %s' $ ips.strHex () ) # 输 出 十 六 进 制 地 址 
print ('binary ip: $s' $ ips.strBin () ) # 输 出 二 进 制 地 址 
print ('iptype: $s' % ips.iptype O ) # 输 出 地 址 类 型 ， 如 PRIVATE、PUBLIC、LOOPBACK 等 


分 别 输入 网 段 、IP 地 址 的 运行 返回 结果 如 下 : 


# python simplel .py 


Please input an IP or net-range: 192.168.1.0/24 
net: 192.168.1.0 

netmask: 255.255.255.0 

broadcast: 192.168.1.255 

reverse address: 1.168.192.in-addr.arpa. 
subnet: 256 

hexadecimal:  0xc0a80100 

binaryip: 11000000101010000000000100000000 
iptype: PRIVATE 
4 python simplel.py 
Please input an IP or net-range: 192.168.1.20 
reverse address:  20.1.168.192.in-addr.arpa. 
hexadecimal:  0xc0a80114 
binaryip: 11000000101010000000000100010100 
iptype: PRIVATE 


@@ 参 考 提示 


1.2.1 节 官网 文档 与 示例 参考 https://github.com/haypo/python-ipy/。 


1.2.2 节 示例 1 参考 http://blog.philippklaus.de/2012/12/ip-address-analysis-using-python/ 和 http://www.sourcecodebrowser.com/ipy/0.62/class_i_py_1_1_i_pint.html 等 文章 的 JPy 类 说 明 。 


1.3 DNS 处 理 模 块 dnspython 


dnspython (http://www.dnspython.org/) 是 Python 实 现 的 一 个 DNS 工 具 包 ， 它 支持 几乎 所 有 的 记录 类 型 ， 可 以 用 于 查询 、 传 输 并 动态 更 新 ZONE 信 息 ， 同 时 支持 TSIG (事务 签名 ) 验证 消息 和 
EDNSO (扩展 DNS) 。 在 系统 管理 方面 ， 我 们 可 以 利用 其 查询 功能 来 实现 DNS 服 务 监控 以 及 解析 结果 的 校 验 ， 可 以 代替 nslookup 及 dig 等 工具 ， 轻 松 做 到 与 现 有 平台 的 整合 ， 下 面 进 行 详细 介绍 。 


首先 介绍 dnspython 模 块 的 安装 ， 这 里 采用 源码 的 安装 方式 ， 最 新 版 本 为 1.9.4， 如 下 : 


# http: //www.dnspython.org/kits/1.9.4/dnspython-1.9.4.tar.gz 
# tar -zxvf dnspython-1.9.4.tar.gz 

# cd dnspython-1.9.4 

# python setup.py install 


1.3.1 模块 域名 解析 方法 详解 


dnspython 模 块 提 供 了 大 量 的 DNS 处 理 方法 ， 最 常用 的 方法 是 域名 查询 。dnspython 提 供 了 一 个 DNS 解析 器 类 一 一 resolver， 使 用 它 的 query 方 法 来 实现 域名 的 查询 功能 。query 方 法 的 定义 如 下 : 


query (self, qname, rdtype-1, rdclass=1, tcp=False, source=None, raise on no answer-True, source port-0) 


其 中 ，qname 参 数 为 查询 的 域名 。rdtype 参 数 用 来 指定 RR 资源 的 类 型 ， 常 用 的 有 以 下 几 种 : 

A 记录 ， 将 主机 名 转换 成 IP 地 址 ; 

" MX 记录 ， 邮 件 交 换 记 录 ， 定 义 邮件 服务 器 的 域名 ; 

: CNAME 记 录 ， 指 别名 记录 ， 实 现 域名 间 的 映射 ; 

. NS 记录 ， 标 记 区 域 的 域名 服务 器 及 授权 子 域 ; 

* PTR 记 录 ， 反 向 解析 ， 与 A 记录 相反 ， 将 IP 转 换 成 主机 名 ; 

: SOA 记 录 ，SOA 标 记 ， 一 个 起 始 授权 区 的 定义 。 
rdclass 参 数 用 于 指定 网 络 类 型 ， 可 选 的 值 有 IN、CH 与 H3， 其 中 IN 为 默认 ， 使 用 最 广泛 。tcp 人 参数 用 于 指定 查询 是 否 启用 TCP 协 议 ， 默 认为 False (不 启用 ) 。source 与 source_port 参 数 作为 指定 查询 源 地 址 
与 端口 ， 默 认 值 为 查询 设备 |P 地 址 和 0。raise_on_no_answer 人 参数 用 于 指定 当 查 询 无 应 答 时 是 否 触 发 异常 ， 默 认为 True。 


1.3.2” 单 见 解析 类 型 示例 况 明 


常见 的 DNS 解析 类 型 包括 A、MX、NS、CNAME 等 。 利 用 dnspython 的 dns.resolver.query 方 法 可 以 简单 实现 这 些 DNS 类 型 的 查询 ， 为 后 面 要 实现 的 功能 提供 数据 来 源 ， 比 如 对 一 个 使 用 DNS 轮 循 业务 
的 域名 进行 可 用 性 监控 ， 需 要 得 到 当前 的 解析 结果 。 下 面 一 一 进行 介绍 。 


(1) A 记录 
实现 A 记录 查询 方法 源码 。 


[/home/test/dnspython/simple1.py] 


#! /usr/bin/env python 

import dns.resolver 

domain = raw input ('Please input an domain:  ') # 输 入 域名 地 址 

A = dns.resolver.query (domain, 'A') # 指 定 查 询 类 型 为 A 记录 

for i in A.response.answer: tili response .answer 方 法 获取 查询 回应 信息 

for j in i.items: 1388 73 [LINZ fe A. 
print j.address 


运行 代码 查看 结果 ， 这 里 以 www.google.com 域 名 为 例 : 


# python simplel.py 

Please input an domain: www.google.com 
173.194.127.180 

173.194.127.178 

173.194.127.176 

173.194.127.179 

173.194.127.177 


(2) MX 记录 


实现 MX 记录 查询 方法 源码 。 


[/home/test/dnspython/simple2.py] 


#! /usr/bin/env python 
import dns.resolver 


domain = raw input ('Please input an domain:  ') 
MX = dns.resolver.query (domain,  'MX') # 指 定 查询 类 型 为 MX 记录 
for i in MX: ds BIN AS, ft MXidck preference exchangerfri ke. 
print 'MX preference -', i.preference, 'mail exchanger =', i.exchange 


运行 代码 查看 结果 ， 这 里 以 163.com 域 名 为 例 : 


# python simple2.py 

Please input an domain: 163.com 

MX preference 10 mail exchanger 

MX preference 50 mail exchanger 
10 mail exchanger 
10 mail exchanger 


163mx03.mxmail.netease.com. 
163mx00.mxmail.netease.com. 
163mx01.mxmail.netease.com. 
163mx02.mxmail.netease.com. 


MX preference 


MX preference 


(3) NS 记录 
实现 NS 记录 查询 方法 源码 。 


[/home/test/dnspython/simple3.py] 


#! /usr/bin/env python 
import dns.resolver 
domain = raw input ('Please input an domain:  ') 
ns = dns.resolver.query (domain,  'NS') # 指 定 查询 类 型 为 NS 记录 
for i in ns.response.answer: 
for j in i.items: 
print j.to text O 


只 限 输入 一 级 域名 ， 如 baidu.com。 如 果 输 入 二 级 或 多 级 域名 ， 如 www.baidu.com， 则 是 错误 的 。 


# python simple3.py 

Please input an domain: baidu.com 
ns4.baidu.com. 

dns.baidu.com. 

ns2.baidu.com. 

ns7.baidu.com. 

ns3.baidu.com. 


(4) CNAME 记 录 
实现 CNAME 记 录 查 询 方法 源码 。 
[/home/test/dnspython/simple4.py] 


#! /usr/bin/env python 
import dns.resolver 


domain = raw input ('Please input an domain:  ') 
cname = dns.resolver.query (domain,  'CNAME') # 指 定 查询 类 型 为 CNAME 记 录 
for i in cname.response.answer: # 结 果 将 回应 cname 后 的 目标 域名 


for j in i.items: 
print j.to text O 


结果 将 返回 cname 后 的 目标 域名 。 


1.3.5 实践: DNS 域名 轮 循 业 务 监控 


大 部 分 的 DNS 解析 都 是 一 个 域名 对 应 一 个 I|P 地 址 ， 但 是 通过 DNS 轮 循 技术 可 以 做 到 一 个 域名 对 应 多 个 |P， 从 而 实现 最 简单 且 高 效 的 负载 平衡 ， 不 过 此 方案 最 大 的 浆 端 是 目标 主机 不 可 用 时 无 法 被 自动 吻 
除 ， 因 此 做 好 业务 主机 的 服务 可 用 监控 至 关 重 要 。 本 示例 通过 分 析 当 前 域名 的 解析 IP， 表 结合 服务 端口 探测 来 实现 自动 监控 ， 在 域名 解析 中 添加 、 删 除 IP 时 ， 无 须 对 监控 脚本 进行 更 改 。 实 现 架 构图 如 图 1-1 
所 示 。 


Ma À 
A 
|i——4dnspython——» ( www.abc.com | 


192. 168.1. 11 


192. 163. 1. 10 
192. 168. 1. 11 
182. 168. 1. 12 


192. 168. 1. 12 


图 1-1 DNS 多 域名 业务 服务 监控 架构 图 


1. 步 骤 

1) 实现 域名 的 解析 ， 获 取 域 名 所 有 的 A 记录 和 解析 IP 列 表 ; 
2) 对 IP 列 表 进 行 HTTP 级 别 的 探测 。 

2. 代 码 解 析 


本 示例 第 一 步 通过 dns.resolver.query () 方法 获取 业务 域名 A 记 录 信 息 ， 碍 询 出 所 有 IP 地 址 列表 ， 再 使 用 httplib 模 块 的 request () 方法 以 GET 方 式 请 求 监控 页 面 ， 监 控 业 务 所 有 服务 的 I|P 是 否 服务 正 


[/home/test/dnspython/simple5.py] 


#! /usr/bin/python 
import dns.resolver 
import os 

import httplib 


iplist-[] # 定 义 域 名 IE 列表 变量 
appdomain-"www.google.com.hk" # 定 义 业 务 域名 
def get iplist (domain-"") : # 域 名 解析 函数 ， 解 析 成 功 IP 将 被 奶 加 到 ;ip1list 
try: 
A = dns.resolver.query (domain,  'A') # 解 析 A 记 录 类 型 


except Exception, e: 

print "dns resolver error: "+str (e) 

return 
for i in A.response.answer: 

for j in i.items: 

iplist.append (j.address) # 追 加 到 iplist 
return True 
def checkip (ip) : 

checkurl-ip*": 80" 
getcontent-"" 


httplib.socket.setdefaulttimeout (5) # 定 义 http 连 接 超时 时 间 (5 秒 ) 
conn-httplib.HTTPConnection (checkurl) # 创 建 http 连 接 对 象 
try: 

conn.request ("GET", "/", headers = ("Host": appdomain)]) 4 AURLIEoK, Y% 


# 加 host 主 机 头 
r-conn.getresponse () 


getcontent -r.read (15) # 获 取 URL 页 面前 15 个 字符 ， 以 便 做 可 用 性 校 验 
finally: 
if getcontent=="<! doctype html>": ，# 监 控 URI 页 的 内 容 一 般 是 事先 定义 好 的 ， 比 如 
T'HTTP200"55 


print ipt" [OK]" 
else: 


print ipt" [E rror]" # 此 处 可 放 告 警 程序 ， 可 以 是 邮件 、 短 信和 通知 

LE name ==" main 

if get iplist Co and len (iplist) >0: # 条 件 : 域名 解析 正确 且 至 少 返 回 一 个 IP 
for ip in iplist: 
checkip (ip) 


else: 
print "dns resolver error." 


我 们 可 以 将 此 脚本 放 到 crontab 中 定时 运行 ， 再 结合 告警 程序 ， 这 样 一 个 基于 域名 轮 循 的 业务 监控 已 完成 。 运 行程 序 ， 显 示 结 果 如 下 : 


ee simple5.py 
125.31.94 [OK] 
by 125.128.199 [OK] 
173.194.72.94 [OK] 


从 结果 可 以 看 出 ， 域 名 www.google.com.hk 解 析出 3 个 IP 地 址 ， 并 且 服 务 都 是 正常 的 。 


第 2 草 ”业务 服务 监控 评 解 


业务 服务 监控 是 运 维 体系 中 最 重要 的 环节 ， 是 保证 业务 服务 质量 的 关键 手段 。 如 何 更 有 效 地 实现 业务 服务 ， 是 每 个 运 维 人 员 应 该 思考 的 问题 ， 不 同业 务 场景 需 定制 不 同 的 监控 策略 。Python 在 监控 方面 
提供 了 大 量 的 第 三 方 工 具 ， 可 以 帮助 我 们 快速 、 有 效 地 开发 企业 级 服务 监控 平台 ， 为 我 们 的 业务 保驾 护航 。 本 章 涉 及 文件 与 目录 差异 对 比方 法 、HTTP 质 量 监控 、 邮 件 告警 等 内 容 。 


2.1 文件 内 容 差 异 对 比方 法 


本 节 介 绍 如 何 通过 difflib 模 块 实现 文件 内 容 差 异 对 比 。difflib 作 为 Python 的 标准 库 模块 ， 无 需 安 装 ， 作 用 是 对 比 文本 之 间 的 差异 ， 且 支持 输出 可 读 性 比较 强 的 HTML 文 档 ， 与 Linux 下 的 diff 命 令 相似 。 
我 们 可 以 使 用 difflib 对 比 代 码 、 配 置 文件 的 差别 ， 在 版 本 控制 方面 是 非常 有 用 。Python 2.3 或 更 高 版 本 默认 自 带 difflib 模 块 ， 无 需 额外 安装 ， 我 们 先 通 过 一 个 简单 的 示例 进行 了 解 。 


2.1.1. 示例 1: 两 个 字符 串 的 差异 对 比 


本 示例 通过 使 用 difflib 模 块 实现 两 个 字符 串 的 差异 对 比 ， 然 后 以 版 本 控制 风格 进行 输出 。 


[/home/test/difflib/simple1.py] 


#! /usr/bin/python 

import difflib 

textl = """textl: # 定 义 字符 串 1 

This module provides classes and functions for comparing sequences. 
including HTML and context and unified diffs. 

difflib document v7.4 


add string 
textl lines - textl.splitlines O 上 # 以 行进 行 分 隔 ， 以 便 进 行 对 比 
text2 = """text2: # 定 义 字 符 串 2 


This module provides classes and functions for Comparing sequences. 

including HTML and context and unified diffs. 

difflib document v7.5""" 

text2 lines - text2.splitlines O 

d = difflib.Differ () # 创 建 Differ O WA 

diff = d.compare (textl lines, text2 lines) # 采用 compare 方 法 对 字符 串 进行 比较 
print '\n'.join (list (diff) ) 


本 示例 采用 Differ () 类 对 两 个 字符 串 进行 比较 ， 另 外 difflib 的 sequenceMatcher () 类 支持 任意 类 型 序列 的 比较 ，HtmlDiff () 类 支持 将 比较 结果 输出 为 HTML 格 式 ， 示 例 运行 结果 如 图 2-1 所 示 。 


[roote5N2013-08-020 difflib]£Z python simplel.py 
texti: 


This module provides classes and functions for comparing sequences. 
A 


This module provides classes and functions for Comparing sequences. 
A 


including HIML and context and unified diffs. 
difflib document v7.4 


^ 


+ difflib document v/.5 
7 ^ 


add string 
图 2-1 示例 运行 结果 
为 方便 大 家 理解 差异 关系 符号 ， 表 2-1 对 各 符号 含义 进行 说 明 。 
表 2-1 符号 含义 说 明 


符号 含义 


-| 包含 在 第 一 个 序列 行 中 ， 但 不 包含 在 第 二 个 序列 行 
包含 在 第 二 个 序列 行 中 ,但 不 包含 在 第 一 个 序列 行 
ri PAFI T — 

9 标志 两 个 序列 行人 存在 增 量 差异 

"n: 标志 出 两 个 序列 行 存在 的 差异 字符 


采用 HtmlDiff () 类 的 make file () 方法 就 可 以 生成 美观 的 HTML 文 档 ， 对 示例 1 中 代码 按 以 下 进行 修改 : 


d = difflib.Differ () 
diff = d.compare (textl lines, text2 lines) 
print '\n'.join (list (diff) ) 


EN BV: 


d = difflib.HtmlDiff O 
print d.make file (textl lines, text2 lines) 


将 新 文件 命名 为 simple2.py， 运 行 # python simple2.py» diff.html， 再 使 用 浏览 器 打开 diff.html 文 件 ， 结 果 如 图 示 2-2 所 示 ，HTML 文 档 包 括 了 行 号 、 差 异 标志 、 图 例 等 信息 ， 可 读 性 增强 了 许多 。 


"n 
This module provides classes and functions for comparing sequences. 
3including HTML and context and unified diffs. 
4 
zi 


四 


图 2-2 ”在 浏览 


2.1.3 ”示例 2: 对 比 Nginx 配 置 文件 差异 


texta: 

This module provides classes and functions for Comparing sequences. 
including HTML and context and unified diffs. 

4difflib document v7.5 


中 打开 difthtml 文 件 


当 我 们 维护 多 个 Nginx 配 置 时 ， 时 常会 对 比 不 同 版 本 配置 文件 的 差异 ， 使 运 维 人 员 更 加 清晰 地 了 解 不 同 版 本 迭代 后 的 更 新 项 ， 实 现 的 思路 是 读 取 两 个 需 对 比 的 配置 文件 ， 再 以 换行 符 作 为 分 隔 符 ,调用 


difflib.HtmlDiff () 生成 HTML 格 式 的 差异 文档 。 实 现代 码 如 下 : 


[/home/test/difflib/simple3.py] 


#! /usr/bin/python 
import difflib 
import sys 


try: 

textfilel-sys.argv[1] # 第 一 个 配置 文件 路 径 参 数 
textfile2-sys.argv[2] # 第 二 个 配置 文件 路 径 参 数 
except Exception. e: 

print "Error: "+str (e) 

print "Usage: simple3.py filenamel filename2" 


sys.exit () 


m 


def readfile (filename) : # 文 件 读 取 分 隔 函 数 
try: 
fileHandle = open (filename, 'rb' ) E 
text-fileHandle.read () .splitlines () # 读 取 后 以 行进 行 分 隔 
fileHandle.close () 


return text 
except IOError as error: 
print ('Read file Error: '*str (error) ) 
sys.exit () 
if textfilel--"" or textfile2--"": 
print "Usage: simple3.py filenamel filename2" 


sys.exit () B 
] textfilel) # 调 用 readfile 函 数 ， 获 取 分 隔 后 的 字符 串 


textl lines = readfile 
textfile2) 


m tfile 
# 创 建 HtmlDiff() 类 对 象 


text2 lines = readfile 
d = difflib.HtmlDiff O 


a a 


print d.make file (textl lines, text2 lines) # 通 过 make_file 方 法 输出 HTML 格 式 的 比 对 结果 


运行 如 下 代码 : 


# python simple3.py nginx.conf.vl nginx.conf.v2 > diff.html 


从 图 2-3 中 可 以 看 出 nginx.conf.v1 与 nginx.conf.v2 配 置 文件 存在 的 差异 。 
Qs 2.1 节 示例 参考 官网 文档 http://docs.python.org/2/library/difflib.html。 


nore information on configuration, see: 
Urricial English Documentation: http://nginx.org/en/ndunocs/ 
Official Russian Documentation: http://nginx.norg/ru/doacs/ 


nginx; 
lr 
üerror log  /var/log/nginx/error.log; 
| Siferror loc / /log/nginx/error.lo notice; 
/var/log/nginxz/erroür.lrmg info; 


/var/run/nginx.pid: 


worker connections 1024; 


include /etc/nginx/mime.tvpes; 

default type applicatinn/octet-artream; 

log format main "'$remote addr 一 $remote user [$time local] "$ 
"status $bndy bytes sent "$http referer" " 
""$http user agent" "£http x forwarded ror"'; 


access log  /Varf/log/nginx/access.log maini 


sendfile 
#tep nopush 


#keepalive timeout Ü; 
keepalive timeout 65; 


Razip onz 

$ Load contig files fram the /etc/nginx/coni.d directory 
$ The default server is in cont.d/default.conf 
include /etc/nginx/contr.d/*.cont; 


{Ej izst change 
[in) ext change | 


£request 


more information on conriquration, see: 
Orricial English Documentation: http://nginx.org/en/docs/ 
Official Russian Documentation: http://nginx.org/ru/docs/ 


nginz; 
LE 
notice; 


rol logB/nginx/error.log info; 


F"var/run/nginx.pid: 


worker connections 81200: 


include /etc/nginx/mime.types; 
default type  application/octet-3stream; 


log format main "'$remote addr 一 $£remnte user [$time local] "£request" 
'5status $body bytes sent "$http referer" ' 
""Rhttp user agent" "http x forwarded for""'; 


access log  /dara/logB/nginx/access.log main; 


sendiile on; 
$tcp nopush 


dkeepalive timeout 0; 
keepalive timeout 65; 


gzip on; 


# Load config files from the /etc/ngins/cont.d directory 
£ The default server is in cont.d/derault.conf 
include /etc/nginx/conf.d/*.conf; 


图 2-3 nginx.conf.v1 与 nginx.conf.v2 配 置 文 件 对 比 结果 


22 ”文件 与 目录 差异 对 比方 法 


当 我 们 进行 代码 审计 或 校 验 备份 结 果 时 ， 往 往 需要 检查 原始 与 目标 目录 的 文件 一 致 性 ，Python 的 标准 库 已 经 自 带 了 满足 此 需求 的 模块 flecmp。filecmp 可 以 实现 文件 、 目 录 、 遍 历 子 目录 的 差异 对 比 功 
能 。 比 如 报告 中 输出 目标 目录 比 原 始 多 出 的 文件 或 子 目 录 ， 即 使 文件 同名 也 会 判断 是 否 为 同一 个 文件 (内 容 级 对 比 ) 等 ，Python 2.3 或 更 高 版 本 默认 自 带 filecmp 模 块 ， 无 需 额外 安装 ， 下 面 进 行 详细 介绍 。 
2.2.1 ”模块 常用 万 法 说 明 

filecmp 提 供 了 三 个 操作 方法 ,分别 为 cmp ( 单 文件 对 比 ) 、cmpfiles (多 文件 对 比 ) 、dircmp (目录 对 比 ) ， 下 面 逐一 进行 介绍 : 


- 单 文 件 对 比 ， 采 用 f 包 ecmp.cmp (fl, f2[, shallow]) 方法 ， 比 较 文 件 名 为 仁和 亿 的 文件 ， 相 同 返 回 True， 不 相同 返回 False，shallow 上 默认 为 True， 意 思 是 只 根据 os.stat () 方法 返回 的 文件 基本 信息 进行 对 


比 ， 比 如 最 后 访问 时 间 、 修 改 时 间 、 状 态 改变 时 间 等 ， 会 忽略 文件 内 容 的 对 比 。 当 shallow 为 False 时 ， 则 os.stat O 与 文件 内 容 同时 进行 校 验 。 


示例 : 比较 单 文 件 的 差异 。 


>>> filecmp.cmp ("/home/test/filecmp/f1", "/home/test/filecmp/f3") 
True 
>>> filecmp.cmp ("/home/test/filecmp/f1", "/home/test/filecmp/f2") 
False 


- 多 文件 对 比 ， 采 用 fecmp.cmpfiles (dirl dir2, common[, shallow]) 方法 ， 对 比 ditl 与 dit2 目 录 给 定 的 文件 清单 。 该 方法 返回 文件 名 的 三 个 列表 ， 分 别 为 匹配 、 不 匹配 、 错 误 。 匹 配 为 包含 匹配 的 文件 的 
列表 ， 不 匹配 反之 ， 错 误 列 表 包 括 了 目录 不 存在 文件 、 不 具备 读 权 限 或 其 他 原因 导致 的 不 能 比较 的 文件 清单 。 


示例 : dir1 与 dir2 目 录 中 指定 文件 清单 对 比 。 


两 目录 下 文件 的 md5 信 息 如 下 ， 其 中 f1、f2 文 件 匹 配 ;，f3 不 匹配 ;分 、f5 对 应 目录 中 不 存在 ， 无 法 比较 。 


[root@SN2013-08-020 dir2]# md5sum * 
d9dfc198c249bb4ac341198a752b9458 
aa9aa0cac0ffc655ce9232e720bf1b9f 
3332119b71£717ef450981e9364530a39 

d9dfc198c249bb4ac341198a752p9458 

[root8SN2013-08-020 dirl]# md5sum 
d9dfc198c249bb4ac341198a75259458 

aa9aa0cacOffc655ce9232e720bf1b9f 
d9dfc198c249bb4ac341198a75259458 
410d6a485bcf5d2d82d223f£2ada9b9c52 


Fh Fh b Ph Fh Fh Fh Fh 
BACON) P x*O1 CO hO 2S 


使 用 cmpfiles 对 比 的 结果 如 下 ， 符 合 我 们 的 预期 。 


»»»filecmp.cmpfiles ("/home/test/filecmp/dirl", "/home/test/filecmp/dir2", ['fl', 'f2', 'f3', 'f4', 'f5']p 
CIEL "TET DES]: [TEAs ` *£5']5 


- 目录 对 比 ， 通过 ditcmp (a, b[, ignore[, hide) 类 创建 一 个 目录 比较 对 象 ， 其 中 a 和 b 是 参加 比较 的 目录 名 。ignote 代 表 文 件 名 忽略 的 列表 ， 并 默认 为 [RCS'，'CVS'，'tags]; hide 代 表 隐 藏 的 列表 ， 默 认为 
[os.curdir，os.pardit]。dircmp 类 可 以 获得 目录 比较 的 详细 信息 ， 如 只 有 在 4 目录 中 包括 的 文件 、a 与 b 都 存在 的 子 上 和 目录、 匹配 的 文件 等 ， 同 时 支持 递归 。 


dircmp 提 供 了 三 个 输出 报告 的 方法 : 
-report () ， 比 较 当 前 指定 目录 中 的 内 容 ; 
.tepott_battial_closute () ， 比 较 当 前 指定 目录 及 第 一 级 子 目 录 中 的 内 容 ; 
: report full closure () ， 递 归 比 较 所 有 指定 目录 的 内 容 。 
为 输出 更 加 详细 的 比较 结果 ，dircmp 类 还 提供 了 以 下 属性 : 
“ left， 左 目录 ， 如 类 定义 中 的 a; 
. fight， 右 目录 ， 如 类 定义 中 的 b; 
: left_list， 左 目录 中 的 文件 及 目录 列表 ， 
right_list， 右 目录 中 的 文件 及 目录 列表 ; 
common， 两 边 目 录 共 同 存 在 的 文件 或 目录 ; 
: left_only， 只 在 左 目录 中 的 文件 或 目录 ; 
right_only， 只 在 右 目录 中 的 文件 或 目录 ，; 
: common_dirs， 两 边 目录 都 存在 的 子 目录 ; 
common_files， 两 边 目录 都 存在 的 子 文件 ; 
: common_funny， 两 边 目录 都 存在 的 子 目录 (不同 目录 类 型 或 os.stat () 记录 的 错误 ) ; 
- same_files， 匹 配 相同 的 文件 ; 
.difft_files， 不 匹配 的 文件 ; 
: funny_files， 两 边 目 录 中 都 存在 ， 但 无 法 比较 的 文件 ; 
: subdirs， 将 common_dirs 目 录 名 映射 到 新 的 ditcmp 对 象 ， 格 式 为 字典 类 型 。 


示例 : 对 比 dir1 与 dir2 的 目录 差异 。 


通过 调用 dircmpP () 方法 实现 目录 差异 对 比 功 能 ， 同 时 输出 目录 对 比 对 象 所 有 属性 信息 。 


[/home/test/filecmp/simple1.py] 


import filecmp 


a-" /home/test/filecmp/dirl" # 定 义 左 目录 

b="/home/test/filecmp/dir2" # 定 义 右 目录 

dirobjefilecmp.dircmp (a, b, ['test.py']) # 目 录 比 较 ， 忽 略 test .py 文件 
# 输 出 对 比 结果 数据 报表 ， 详 细 说 明 请 参考 filecmp 类 方法 及 属性 信息 


dirobj .report () 
dirobj.report partial closure () 
dirobj.report full closure () 


print "left list: "+ str (dirobj.left list) 

print "right list: "+ str (dirobj.right list) 
print "common: "+ str (dirobj.common) 

print "left only: "+ str (dirobj.left only) 

print "right only: "+ str (dircb].right only) 
print "common dirs: "+ str (dirobj.common dirs) 
print "common files: "+ str (dirobj.common files) 
print "common funny: "+ str (dirobj.common funny) 
print "same file: "+ str (dirobj.same files) 
print "diff files: "+ str (dirobj.diff files) 
print "funny files: "+ str (dirobj.funny files) 


为 方便 理解 ， 通 过 tree 命 令 输 出 两 个 目录 的 树 结 构 ， 如 图 2-4 所 示 。 


clir1 dirz 


图 2-4 通过 ttee 命 令 输 出 的 两 个 目录 


运行 前 面 的 代码 并 输出 ， 结 果 如 下 : 


4 python simplel.py 


AORE RAAR TEPO ne anaa 

diff /home/test/filecmp/dirl /home/test/filecmp/dir2 
Only in /home/test/filecmp/dirl : |' £55] 

Only in /home/test/filecmp/dir2 : ['aa', 'f5'] 
Identical files : ['f1', 'f2'] 

Differing files : ['f3'] 

Common subdirectories :  ['a'] 


二 二 二 二 三 主语 二 report partial plosure-2o----—--——-—- 


diff /home/test/filecmp/dirl /home/test/filecmp/dir2 

Only in /home/test/filecmp/dirl : |' E] 

Only in /home/test/filecmp/dir2 : ['aa', 'f5'] 
Identical files : ['f1', 'f2'] 

Differing files : (['f3'] 

Common subdirectories :  ['a'] 

diff /home/test/filecmp/dirl/a /home/test/filecmp/dir2/a 
Identical files : ['al'] 

Common subdirectories :  ['b'] 


-—----------- report full closure-------------- 
diff /home/test/filecmp/dirl /home/test/filecmp/dir2 
Only in /home/test/filecmp/dirl :  ['f4'] 

Only in /home/test/filecmp/dir2 : ['aa', 'f5'] 
Identical files : ['f1', 'f2'] 

Differing files : (['f3'] 

Common subdirectories : ['a'] 

diff /home/test/fileomp/dirl/a /home/test/filecmp/dir2/a 
Identical files : ral] 
Common subdirectories : ['b'] 
diff /home/test/filecmp/dirl/a/b /home/test 
Identical files : ['b1', 'b2', 'b3'] 
left list: ['a', 'f1', 'f2', 'f3', 'f4'] 
right list: ['a', 'aa', "'f1', 'f2', 'f3', "'f5'] 


一 一 


SS. 


filecmp/dir2/a/b 


L- 


2.2.2 实践: 校 验 源 与 备份 目录 差异 


有 时 候 我 们 无 法 确认 备份 目录 与 源 目录 文件 是 否 保持 一 致 ， 包 括 源 目 录 中 的 新 文件 或 目录 、 更 新 文件 或 目录 有 无 成 功 同 步 ， 定 期 进行 校 验 ， 没 有 成 功 则 希望 有 针对 性 地 进行 补 备份 。 本 示例 使 用 了 
filecmp 模 块 的 left only, diff files 方 法 递归 获取 源 目 录 的 更 新 项 ， 再 通过 shutil.copyfile、os.makedirs 方 法 对 更 新 项 进行 复制 ， 一 致 状态 。 详 细 源 码 如 下 : 


[/home/test/filecmp/simple2.py] 


#! /usr/bin/env python 
import os, sys 
import filecmp 
import re 
import shutil 
holderlist=[] 
def compareme (dirl, qir2) : # 递 归 获 取 更 新 项 函数 
dircomp-filecmp. dircmp (dirl, dir2) 
only in one-dircomp.left only # 源 目录 新 文件 或 目录 
diff in one=dircomp.diff files # 不 匹配 文件 ， 源 目录 文件 已 发 生变 化 
dirpath=os.path.abspath (dir1) # 定 义 源 目 录 绝 对 路 径 
# 将 更 新 文件 名 或 目录 追加 到 holderlist 
[holderlist.append (os.path.abspath (os.path.join (dirl, x) ) ) for x in only in one] 
[holderlist.append (os.path.abspath (os.path.join (dirl, x) ) ) for x in diff in one] 
if len (dircomp.common dirs) > 0: # 判 断 是 否 存 在 相同 子 目录 ， 以 便 递 归 DS 
for item in dircomp.common dirs: # 递 归 子 目录 
compareme (os.path.abspath (os.path.join (dirl, item) ) ， \ 
os.path.abspath (os.path.join (dir2, item) ) ) 
return holderlist 
def main O) : 
if len (sys.argv) » 2: # 要 求 输入 源 目录 与 备份 目录 
dirl-sys.argv[l1] 
dir2-sys.argv[2] 


else: 

print "Usage: ", Ssys.argv[0]. "datadir backupdir" 

sys.exit () 
source files-compareme (dirl, dir2) # 对 比 源 目录 与 备份 目录 
dirl-os.path.abspath (dir1) 
if not dir2.endswith ('/') : dir2-dir2*'/' HE H REEI” IF 
dir2-os.path.abspath (dir2) 


destination files-[] 
createdir bool-False 


for item in source files: 138 33 [RB] 26 8 SC TIE B, H oed 8 
destination dir-re.sub (dirl, dir2, item) # 将 源 目录 差异 路 径 清单 对 应 替换 成 
# 备 份 目录 
destination files.append (destination dir) 


if os.path.isdir (item) : ”# 如 果 差异 路 径 为 目录 且 不 存在 ， 则 在 备份 目录 中 创建 
if not os.path.exists (destination dir): 
os.makedirs (destination dir) - 
createdir bool-True # 再 次 调用 compareme 函 数 标记 
f createdir bool: +EH comparemer Zi, EINE I AE H eR LEE 
destination files-[] 
source files-[] 
source files-compareme (dirl, dir2) ti FI comparemer& ži 
for item in source files: # 慕 取 源 目录 差异 路 径 清单 ， 对 应 替换 成 备份 目录 
destination dir-re.sub (dirl, dir2, item) 
destination files.append (destination dir) 


Iis. 


print "update item: " 
print source files # 输 出 更 新 项 列表 清单 
copy pair=zip (source files, destination files) # 将 源 目录 与 备份 目录 文件 清单 拆 分 成 元 组 
for item in copy pair: 
if os.path.isfile (item[0]) : # 判 断 是 否 为 文件 ， 是 则 进行 复制 操作 
shutil.copyfile (item[0], item[1]) 
if name == ' main *': 
main () 


更 新 源 目录 dir1 中 的 从、code/f3 文 件 后 ， 运 行程 序 结果 如 下 : 


L- 


# python simple2.py /home/test/filecmp/dirl /home/test/ 
update item: 
['/home/test/filecmp/dirl/f4', ' /home/test/filecmp/dirl/code/f3' ] 
# python simple2.py /home/test/filecmp/dirl /home/test/filecmp/dir2 
update item: 


[] # 再 次 运行 时 已 经 没有 更 新 项 了 


lecmp/dir2 


Qs 


“ 2.2.1 节 模块 方法 说 明 参 考 http://docs.python.org/2/library/filecmp.html。 


2.2.2 节 示例 参考 http://linuxfreelancer.com/how-do-you-compare-two-folders-and-copy-the-difference-to-a-third-folder。 


23 ”友人 这 电子 邮件 模块 smtplib 


电子 邮件 是 最 流行 的 互联 网 应 用 之 一 。 在 系统 管理 领域 ， 我 们 常常 使 用 邮件 来 发 送 告警 信息 、 业 务 质量 报表 等 ， 方 便 运 维 人 员 第 一 时 间 了 解 业务 的 服务 状态 。 本 节 通 过 Python 的 smtplib 模 块 来 实现 邮 
件 的 发 送 功能 ， 模 拟 一 个 smtp 客 户 端 ， 通 ES 关 的 功能 ， 这 可 以 理解 成 Foxmail 的 发 邮件 功能 ， 在 第 一 次 使 用 之 前 我 们 需要 配置 smtp 主 机 地 址 、 邮 箱 账 号 及 密码 等 信 
息 ，Python 2.3 或 更 高 版 本 默认 自 带 smtplib 模 块 ， 无 需 额外 安装 。 下 面 详细 进行 介绍 。 


2.3.4. smtplib 模 块 的 常用 类 与 方法 


SMTP 类 定义 : smtplib.SMTP ([host[, port[, local hostname[, timeout]II) ， 作 为 SMTP 的 构造 函数 ， 功 能 是 与 smtp 服 务 器 建立 连接 ， 在 连接 成 功 后 ， 就 可 以 向 服务 器 发 送 相关 请 求 ， 比 如 登 
录 、 校 验 、 发 送 、 退 出 等 。host 参 数 为 远程 smtp 主 机 地 址 ， 比 如 smtp.163.com; port 为 连接 端口 ， 默 认为 25; local hostname 的 作用 是 在 本 地 主机 的 FQDN (完整 的 域名 ) 发 送 HELO/EHLO (标识 用 户 
身份 ) 指令 ，timeout 为 连接 或 尝试 在 多 少 秒 超时 。SMTP 类 具有 如 下 方法 : 


: SMTP.connect ([host[，por 耻 ) 方法 ， 连 接 远 程 smtp 主 机 方法 ，host 为 远程 主机 地 址 ，port 为 远程 主机 smtp 端 口 ， 默 认 25， 也 可 以 直接 使 用 host: port 形 式 来 表示 ， 例 如 


[1 


SMTP.connect ( "smtp.163.com" , “25”) , 
: SMTP.login (user, password) 方法 ， 远 程 smtp 主 机 的 校 验 方法 ， 参 数 为 用 户 名 与 密码 ， 如 SMTP.login ( "python 2014(2163.com" ,  "sdjkg358" ) 。 


: SMTP.sendmail (from addr, to addrs, msg[, mail options, rcpt options]) 方法 ， 实 现 邮 件 的 发 送 功 能 ， 参 数 依次 为 是 发 件 人 、 收 件 人 、 邮 件 内 容 ， 例 如 
SMTP.sendmail ( "python 2014(g163.com" , “demo@domail.com” , body) ， 其 中 body 内 容 定 义 如 下 : 


"""From: python 20140163.com 
To: demo@domail .com 

Subject: test mail 

test mail body""" 


: SMTP.starttls ([keyfile[, certfile]) 方法 ， 启 用 TLS (安全 传输 ) 模式 ， 所 有 SMTP 指 令 都 将 加 密 传输 ， 例 如 使 用 gmail 的 smtp 服 务 时 需要 启动 此 项 才能 正常 发 送 邮件 ， 如 SMTP.starttls () 。 
: SMTP.quit () 方法 ， 断 开 smtp 服 务 器 的 连接 。 


下 面 通过 一 个 简单 示例 帮助 大 家 理解 ， 目 的 是 使 用 gmail 向 QQ 邮箱 发 送 测试 邮件 ， 代 码 如 下 : 


#! /usr/bin/python 
import smtplib 
import string 


HOST = "smtp.gmail.com" # 定 义 smtp 主 机 

SUBJECT = "Test email from Python" # 定 义 邮件 主题 

TO = "testmailQ@qq.com" 定义 邮件 收 件 人 

FROM = "mymail@gmail.com" 定义 邮件 发 件 人 

text = "Python rules them all! " # 邮 件 内 容 

BODY = string.join ( ( # 组 装 sendmail 方 法 的 邮件 主体 内 容 ， 各 段 以 "\r\n" 进 行 分 隔 


"From: %s" $ FROM, 
"To: %s" % TO, 
"Subject: %s" % SUBJECT , 


n" 
, 


text 

) 2 "r\n 
server = smtplib.SMTP () # 创 建 一 个 SMTP O 对 象 
server.connect (HOST, "25") # 通 过 connect 方 法 连接 smtp 主 机 
server.starttls O # 启 动 安全 传输 模式 
server.login ("mymail@gmail.com", "mypassword") # 邮 箱 账 号 登录 校 验 
server.sendmail (FROM, [TO], BODY) # 邮 件 发 送 
server.quit O HHF smtp t 


我 们 将 收 到 一 封 这 样 的 邮件 ， 如 图 2-5 所 示 。 


Test email from Python : 


RIFA: «mymaril&gmail.com 
时 Bl: 2014 年 3 月 27 日 (星期 四 ) 上 午 7:42 (UTC-07:00 休斯顿 底特律 时 间 ] 
EFA: <testmal@qq.com> 


Python rules them all! 


图 2-5” 收 到 的 邮件 


2.3.2 ”定制 个 性 化 的 邮件 格式 方法 
通过 邮件 传输 简单 的 文本 已 经 无 法 满足 我 们 的 需求 ， 比 如 我 们 时 常会 定制 业务 质量 报表 ， 在 邮件 主体 中 会 包含 HTML、 图 像 、 声 音 以 及 附件 格式 等 ，MIME (Multipurpose Internet Mail 
Extensions， 多 用 途 互联 网 邮件 扩展 ) 作为 一 种 新 的 扩展 邮件 格式 很 好 地 补充 了 这 一 点 ， 更 多 MIME 知 识 见 httpV/zh.wikipedia.org/wikVMIME。 下 面 介绍 几 个 Python 中 常用 的 MIME 实 现 类 : 


: email.mime. multipart. MIMEMultipart ([ subtype[, boundaty[,  subparts[,  params]l] ， 作 用 是 生成 包含 多 个 部 分 的 邮件 体 的 MIME 对 象 ， 参 数 _subtype 指 定 要 添加 到 "Content-type: multipatt/subtype" 报 头 
的 可 选 的 三 种 子 类 型 ， 分 别 为 mixed、telated、altetnative， 默 认 值 为 mixed。 定 义 mixed 实 现 构建 一 个 带 附 件 的 邮件 体 ; 定义 telated 实 现 构建 内 散 资 源 的 邮件 体 ; 定义 altetnative 则 实现 构建 纯 文 本 与 超 文 本 共存 的 
邮件 体 。 


- email.mime.audio. MIME Audio ( audiodata[, subtype[, ^ encoder[, ** params]]) ， 创 建 包含 音频 数据 的 邮件 体 ，_audiodata 包 含 原 始 二 进 制 音频 数据 的 字 节 字符 串 。 


email.mime.image.MIMEImage ( imagedata[, subtype[, | encoder[, ** params]]) ， 创 建 包含 图 片 数 据 的 邮件 体 ，_imagedata 是 包含 原始 图 片 数 据 的 字 节 字符 串 。 


: email.mime.text.MIMEText ( text[, subtype[,  charset]]) ， 创 建 包含 文本 数据 的 邮件 体 ，_text 是 包含 消息 负载 的 字符 串 ，_subtype 指 定 文 本 类 型 ， 支 持 plain (默认 值 ) 或 html 类 型 的 字符 串 。 


2.3.3 ”定制 常用 邮件 格式 示例 详解 


前 面 两 小 节 介 绍 了 Python 的 smtplib 及 email 模 块 的 常用 方法 ， 那 么 两 者 在 邮件 定制 到 发 送 过 程 中 是 如 何 分 工 的 ? 我 们 可 以 将 email.mime 理 解 成 smtplib 模 块 邮件 内 容 主体 的 扩展 ， 从 原先 默认 只 支持 纯 
文本 格式 扩展 到 HTML， 同 时 支持 附件 、 音 频 、 图 像 等 格式 ，smtplib 只 负责 邮件 的 投递 即 可 。 下 面 介绍 在 日 常 运营 工作 中 邮件 应 用 的 几 个 示例 。 


示例 1: 实现 HTML 格 式 的 数据 报表 邮件 。 


纯 文本 的 邮件 内 容 已 经 不 能 满足 我 们 多 样 化 的 需求 ， 本 示例 通过 引入 email.mime 的 MIMEText 类 来 实现 支持 HTML 格 式 的 邮件 ,支持 所 有 HTML 元 素 ， 包 含 表 格 、 图 片 、 动 画 、CSS 样 式 、 表 单 等 。 
示例 使 用 HTML 的 表格 定制 美观 的 业务 流量 报表 ， 实 现代 码 如 下 : 


[/home/test/smtplib/simple2.py] 


#coding: utf-8 
import smtplib 


from email.mime.text import MIMEText TS AMIMEText2S 
HOST = "smtp.gmail.com" # 定 义 smtp 主 机 
SUBJECT = u" 官 网 流量 数据 报表 " # 定 义 邮 件 主题 
TO = "testmailqq.com" # 定 义 邮件 收 件 人 
FROM = "mymail@gmail.com" 定义 邮件 发 件 人 
msg = MIMEText (""" # 创 建 一 个 MIMEText 对 象 ， 分 别 指定 HTML 内 容 、 类 型 (文本 或 html) 、 字 
# 符 编码 
«table width-"800" border-"0" cellspacing-"0" cellpadding-"4"» 
«tr» 
«td bgcolor-"4CECFAD" height-"20"duokan-code-cn"»: 14px">* 官 网 数据 <a href-"monitor.domain.com"»3H £€»»«/a»«/td» 
«/tr» 
«tr» 
«td bgcolor="#EFEBDE" height-"100"duokan-code-cn"»: 13px"» 


1) 日 访问 量 : «font color-red»152433«/font» 访问 次 数 : 23651 页 面 浏览 量 : 45123 点 击 数 : 545122 ”数据 流量 : 504Mb«br» 
2) 状态 码 信息 <br> 

&nbsp; &nbsp; 500: 105 404: 3264 503: 214«br» 

3» 访客 浏览 器 信息 <br> 

&nbsp; &nbsp; IE: 50$ firefox: 10$ chrome: 30$ other: 10%<br> 

4) 页 面 信 息 <br> 

&nbsp; &nbsp; /index.php 42153«br» 

&nbsp; &nbsp; /view.php 21451«br» 

&nbsp; &nbsp;: /login.php 5112«br» 


«/td» 
«/tr» 
«/table»""", "html", "utf-8") 
msg['Subject'] = SUBJECT # 邮 件 主 题 
msg [ ' From' ] =FROM # 邮 件 发 件 人 ， 邮 件 头 部 可 见 
msg['To']-TO # 邮 件 收 件 人 ， 邮 件 头 部 可 见 
try: 
server = smtplib.SMTP () # 创 建 一 个 SMTP〈() XI 
server.connect (HOST, "25") # 通 过 connect 方 法 连接 smtp 主 机 
server.starttls () # 启 动 安全 传输 模式 
server.login ("mymail@gmail.com", "mypassword") # 邮 箱 账 号 登录 校 验 
server.sendmail (FROM, TO, msg.as string O ) # 邮 件 发 送 
server.quit O HHF smtp t 
print "邮件 发 送 成 功 ! " 
except Exception. 


e 
print "失败 : "+str (e) 


代码 运行 结果 如 图 2-6 所 示 ， 我 们 将 业务 日 志 分 析 结 果 定 期 推送 给 管理 员 ， 以 方便 管理 员 了 解 业务 的 服务 情况 。 


官网 流 重 数据 报表 方 

XEM: mymailggmail.com- 

Hi jg: 2UIAzEAH /HUERE—J 上午 让 3533 CU IC-U /:UD TR Amb «. EEA) 
Wita testmailiqdq.com- 


+ 官网 数据 mec 
1) 口 态 问 旺 ,152433 态 门 次 部 .2z3651 ria Wb E.45123 cibg9r.545122 £rgo E. 504ML 
2] Kapra 
500:105 4014:3264 503:214 
3] WERE 
IE: 5056 firefox: 1095 chrome: 3098 other: 1096 
4) 和 内 面 信 息 
/index.php 42153 
[view .php 21451 
login: php. 5112 


图 2-6 ”示例 1 运行 结果 
示例 2: 实现 图 文 格式 的 服务 器 性 能 报表 邮件 。 


示例 1 通过 MIMEText 类 来 实现 HTML 格 式 的 邮件 ， 当 要 求 包含 图 片 数据 的 邮件 内 容 时 ， 需 要 引用 MIMElmage 类 ， 若 邮件 主体 由 多 个 MIME 对 象 组 成 ， 则 同时 需 引 用 MIMEMultipart 类 来 进行 组 装 。 本 
示例 通过 MIMEText 与 MIMEImage 类 的 组 合 来 实现 图 文 格式 的 服务 器 性 能 报表 邮件 的 定制 ， 实 现代 码 如 下 : 


[/home/test/smtplib/simple3.py] 


#coding: utf-8 
import smtplib 


from email.mime.multipart import MIMEMultipart SS AMIMEMultipart2s 
from email.mime.text import MIMEText # 导 入 MIMEText 类 

from email.mime.image import MIMEImage # 导 入 MIMEImage 类 

HOST = "smtp.gmail.com" # 定 义 smtp 主 机 

SUBJECT = u" 业 务 性 能 数据 报表 " # 定 义 邮件 主题 

TO = "testmaileqq.comn # 定 义 邮件 收 件 人 

FROM = "mymail@gmail .com" 定义 邮件 发 件 人 

def addimg (src, imgid) : # 添 加 图 片 函 数 ， 参 数 1: 图 片 路 径 ， 参 数 2: Rid 


fp = open (sro, 'rb') # 打 开 文 件 

msgImage = MIMEImage (fp.read () ) # 创 建 MIMEImage 对 象 ， 读 取 图 片 内 容 并 作为 参数 
fp.close () # 关 闭 文件 

msglmage.add header ('Content-ID', imgid) # 指 定 图 片 文件 的 Content-ID，<img> 


# 标 签 src 用 到 
return msgImage # 返 回 msgImage 对 象 

msg = MIMEMultipart ('related') mun su EHSEIDASOUAS ee SIR 
SEHE 
msgtext = MIMEText (""" # 创 建 一 个 MIMEText 对 象 ，HTML 元 素 包 括 表格 <table> 及 图 片 <img> 
«table width="600" border-"0" cellspacing-"0" cellpadding-"4"» 
«tr bgcolor-"£CECFAD" height-"20"duokan-code-cn"»: 14px"» 
«td colspan=2>* 官 网 性 能 数据 ”<a href-"monitor.domain.com"»H £»»«/a»«/td» 
</tr> 
<tr bgcolor=" #EFEBDE" height-"100"duokan-code-cn"»: 13px"> 

<td> 

«img src-"cid: io"></td><td> 

«img src-"cid: key hit"»«/td» 
</tr> E 
<tr bgcolor=" #EFEBDE" height-"100"duokan-code-cn"»: 13px"> 

<td> 

«img src="cid: men"></td><td> 

«img src-"cid: swap"></td> 


«/tr» 
</table>""", "html", "utf-p") #<img> 标 签 的 src 属 性 是 通过 Content-ID 来 引用 的 
msg.attach (msgtext) #MIMEMuUltipart 对 象 附 加 MIMEText 的 内 容 
msg.attach (addimg ("img/bytes io.png", "io") ) m a ECOUTER QS 
# 容 
msg.attach (addimg ("img/myisam key hit.png", "key hit") ) 
msg.attach (addimg ("img/os mem.png", "men") ) 
msg.attach (addimg ("img/os swap.png", "swap") ) 
msg['Subject'] = SUBJECT # 邮 件 主题 
msg [ 'From']-FROM # 邮 件 发 件 人 ， 邮 件 头 部 可 见 
msg ['To']-TO # 邮 件 收 件 人 ， 邮 件 头 部 可 见 
try: 
server = smtplib.SMTP () # 创 建 一 个 SMTP〈() 对 象 
server.connect (HOST, "25") # 通 过 connect 方 法 连接 smtp 主 机 
server.starttls () # 启 动 安全 传输 模式 
server.login ("mymail@gmail.com", "mypassword") # 邮 箱 账号 登录 校 验 
Meu d E (FROM, TO, msg.as string O ) # 邮 件 发 送 


tO # 断 开 smtp 连 接 
ea EIS " 
except Exception, e: 
print "失败 : "4str (e) 


代码 运行 结果 如 图 2-7 所 示 ， 我 们 将 业务 服务 器 性 能 数据 定期 推送 给 管理 员 ， 以 方便 管理 员 了 解 业 务 的 服务 情况 。 


FARMERA w 

mA: «mymail&gmail.com- [£5 

时 jg: 2014 征 4 月 8 日 (是 期 二 ) EF8:01 (UTC-07:00 休斯顿 、 FER EHT al) 
Wi A: ctestmailiqgq.com- 


Latest 24 hours: Nov 9, 05:50 - Mov 10, 05:50 


| 
254 
204 


ed Ade VES 


08:00 — 12:0 — 16:0 —— 20:0 —— 00:0  —— 0430 
08:00 12:00 16:00 | 20:00 00:00 — 04:00 B hey reads psec gg key writes psec Bg key read requests psec 
E mega bytes sent psec gl mega bytes received psec B key write requests psec 


Latest 24 hours: Nov 8, 05:50 - Nov 10, 05:50 Latest 24 hours: Nov 8, 05:50 - Mov 10, 05:50 


08:00 — 12:00 16:00 —— 20:0 00:00 04:00 | | | CABE : 
B os mem tota! mb glos mem used mb 国 os mem activa mb i = 14200 —— 1520 20:00 00:00 — — 04:00 
B os swap total mb [gi os swap used mb m os swap ins psec Ml os swap outs psec 


图 2-7 示例 2 运行 结果 
示例 3: 实现 带 附件 格式 的 业务 服务 质量 周报 邮件 。 


本 示例 通过 MIMEText 与 MIMEImage 类 的 组 合 ， 实 现 图 文 邮 件 格式 。 另 通过 MIMEText 类 再 定义 Content-Disposition 属 性 来 实现 带 附件 的 邮件 。 我 们 可 以 利用 这 些 丰富 的 特性 来 定制 周报 邮件 ， 如 业 
务 服务 质量 周报 。 实 现代 码 如 下 : 


[/home/test/smtplib/simple4.py] 


#coding: utf-8 
import smtplib 


from email.mime.multipart import MIMEMultipart FS AMIMEMultipart2$ 
from email.mime.text import MIMEText # 导 入 MIMEText 类 


from email.mime.image import MIMEImage # 导 入 MIMEImage 类 
HOST = "smtp.gmail.com" # 定 义 smtp 主 机 
SUBJECT = u" 官 网 业务 服务 质量 周报 " 定义 邮件 主题 


TO = "testmailQ@qq.com" # 定 义 邮 件 接收 入 

FROM = "mymail@gmail.com" # 定 义 邮 件 发 件 人 

def addimg (src, imgid) : # 添 加 图 片 函数 ， 参 数 1: 图 片 路 径 ， 参 数 2: 图 片 id 
fp = open (sro, 'rb') # 打 开 文 件 


msglmage = MIMEImage (fp.read O ) # 创 建 MIMEImage 对 象 ， 读 取 图 片 内 容 作为 参数 
fp.close () # 关 闭 文 件 


msglmage.add header ('Content-ID',  imgid) # 指 定 图 片 文件 的 Content-ID，<img> 
# 标 签 src 用 到 
return msgImage # 返 回 msgImage 对 象 
msg = MIMEMultipart ('related') a 采用 related 定 义 内 髓 资源 
# 的 邮 
# 创 建 一 个 MIMEText 对 象 ，HTMI 元 素 包 括 文字 与 图 片 <img> 
msgtext = MIMEText ("«font color=red> 官 网 业务 周平 均 延 时 图 表 : <pr><img src=\"cid: weekly\" border=\"1\"><br> 详 细 内 容 见 附件 。</font>"，"html"，"utf-8") 
msg.attach (msgtext) #MIMEMuUltipart 对 象 附 加 MIMEText 的 内 容 
msg.attach (addimg ("img/weekly.png", "weekly") ) # 使 用 MIMEMultipart 对 象 附 加 
# MIMEImage 的 内 容 
# 创 建 一 个 MIMEText 对 象 ， 附 加 week report .xlsx 文 档 
attach = MIMEText (open ("doc/week report.xlsx", "rb") .read (0), "base64", "utf-8") 
attach["Content-Type"] = "application/octet-stream" # 指 定 文件 格式 类 型 
e 保存 的 默认 文件 名 使 用 
#filename 指 定 
# 由 于 qqmai1l 使 用 gb18030 页 面 编码 ， 为 保证 中 文 文件 名 不 出 现 乱 码 ， 对 文件 名 进行 编码 转换 
attach["Content-Disposition"] = "attachment; filename=\" 业 务 服务 质量 周报 (12 周 ) .xlsx\"".decode ("utf-8") .encode ("gb18030") 
msg.attach (attach) #MIMEMuUltipart 对 和 象 附 加 MIMEText 附 件 内 容 
msg['Subject'] = SUBJECT # 邮 件 主题 


msg ['From']-FROM # 邮 件 发 件 人 ， 邮 件 头 部 可 见 
msg['To']-TO # 邮 件 收 件 人 ， 邮 件 头 部 可 见 


try: 
server = smtplib.SMTP () # 创 建 一 个 SMTP〈() XI 
server.connect (HOST, "25") # 通 过 connect 方 法 连接 smtp 主 机 
server.starttls () # 启 动 安全 传输 模式 
server.login ("mymail8gmail.com", "mypassword") # 邮 箱 账 号 登录 校 验 
xc (FROM, TO. msg.as string O ) # 邮 件 发 送 
serve # 汤 开 smtp 连 接 


print ETT y 
except Exception, e: 
print "失败 : "4str (e) 


代码 运行 结果 如 图 2-8 所 示 ， 实 现 了 发 送 业务 服务 质量 周报 的 邮件 功能 。 


ERSEK Fate HIR w 

mA: «mymailigmail.com- [4 

时 jg: 2014:EAH 11E] CE BRFR) Be 9:20 (UTC-07:00 休斯顿 、 后 特 律 时间 ) 
Wita: «testmailtiqgq.comz 

BHO H: 1 个 【 国 业 务 服务 质 旦 周报 (12 周 ).xlsx) 


BMHS EHEER: 


5 s s 5 s B y P s B 


© 


详细 内 容 见 附件 。 
e 附件 (1 个 ) 


SAMH (Y eos E Sez ERS FRI) 


业务 服务 质量 周报 (12 周 ).xlsx (9.621) 
LEN 2 


图 2-8 ”示例 3 的 运行 结果 


Qs 


“ 2.3.1 节 smtplib 模 块 的 常用 类 与 方法 内 容 参 考 https://docs.python.org/2.7/library/smtplib.html。 


: 2.3.2 节 email.mime 常 用 类 定义 内 容 参 考 https://docs.python.org/2.7/library/email.mime.html。 


2.4 ”探测 Web 服 务 质量 方法 


pycurl MR NM DER 是 一 个 用 C 语 言 写 的 libcurl Python 实现 ， 功 能 非常 强大 ， 支 持 的 操作 协议 有 FTP、HTTP、HTTPS、TELNET 等 ， 可 以 理解 成 Linux 下 curl 命 令 功 能 的 Python 封 
装 ， 简 单 易 用 。 本 节 通 过 调用 pycur| 提 供 的 方法 ， 实 现 探 测 Web 服 务 质量 的 情况 ， 比 如 响应 的 HTTP 状 态 码 、 请 求 延 时 、HTTP 头 信息 、 下 载 速 度 等 ， 利 用 这 些 信息 可 以 定位 服务 响应 慢 的 具体 环节 ， 下 面 详 
行 说 明 。 


pycurl 模 块 的 安装 方法 如 下 : 


easy install pycur] #easy jinstal1 安 装 方法 
pip install pycurl #pip 安 朔方 法 

# 源 码 安装 方法 
要 求 curl-config 包 文 持 ， 需 要 源码 方式 重新 安装 curl 

wget http: //curl.haxx.se/download/curl-7.36.0.tar.gz 
tar -zxvf curl-7.36.0.tar.gz 

cd curl-7.36.0 

./configure 

make && make install 

export LD LIBRARY PATH-/usr/local/lib 


wget https: //pypi.python.org/packages/source/p/pycurl/pycurl-7.19.3.1.tar.gz --no-check-certificate 
tar -zxvf pycurl-7.19.3.1.tar.gz 

cd pycurl-7.19.3.1 

python setup.py install --curl-config-/usr/local/bin/curl-config 


HE SE SE HE SE Hi E Se Si Ee 


校 验 安装 结果 如 下 : 


>>> import pycurl 
>>> pycurl.version 
'PycURL/7.19.3.1 libcurl/7.36.0 OpenSSL/1.0.1e zlib/1.2.3' 


24.1 ”模块 党 用 方法 说 明 
pycurl.Curl () 类 实现 创建 一 个 libcurl 包 的 Curl 句 柄 对 象 ， 无 参数 。 更 多 关于 libcur|l 包 的 介绍 见 http://curl.haxx.seV/libcurVclibcurl-tutorial.html。 下 面 介 绍 Curl 对 象 几 个 常用 的 方法 。 
-close () 方法 ， 对 应 libcufl 包 中 的 cutl_easy_cleanup 方 法 ， 无 参数 ， 实 现 关闭 、 回 收 Call 对 象 。 
. perform () 方法 ， 对 应 libcutl 包 中 的 curl_easy_perform 方 法 ， 无 参数 ， 实 现 Cutl 对 象 请 求 的 提交 。 


- setopt (option, value) 方法 ， 对 应 libcutl 包 中 的 cutl_easy_setopt 方 法 ， 参 数 option 是 通过 libcutl 的 常量 来 指定 的 ， 参 数 value 的 值 会 依赖 option， 可 以 是 一 个 字符 事 、 整 型 、 长 整 型 、 文 件 对 象 、 列 表 或 函 
数 等 。 下 面 列 举 常用 的 常量 列表 : 


= pycurl.Curl () # 创 建 一 个 curl 对 象 

.setopt (pycurl.CONNECTTIMEOUT, 5) # 连 接 的 等 待 时 间 ， 设 置 为 0 则 不 等 待 
.Setopt (pycurl.TIMEOUT, 5) # 请 求 超时 时 间 

.setopt (pycurl.NOPROGRESS, 0) FESEM PREZZ, JEON DEN 
.setopt (pycurl.MAXREDIRS, 5) # 指 定 HTTP 重 定向 的 最 大 数 

.Setopt (pycurl.FORBID REUSE, 1) # 完 成 交互 后 强制 断 开 连 接 ， 不 重用 
.Setopt (pycurl.FRESH CONNECT, 1) # 强 制 获 取 新 的 连接 ， 即 替代 缓存 中 的 连接 
.Setopt (pycurl.DNS CACHE TIMEOUT, 60) # 设 置 保存 DNS 信息 的 时 间 ， 默 认为 120 秒 
.Setopt (pycurl.URL, "http: //www.baidu.com") # 指 定 请 求 的 URL 
.Setopt (pycurl.USERAGENT, "Mozilla/5.2 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322; .NET CLR 2.0.50324) ") # 配 置 
.Setopt (pycurl.HEADERFUNCTION, getheader)  # 将 返回 的 HTTP HEADER 定 向 到 回调 函数 getheaqer 

.Setopt (pycurl.WRITEFUNCTION, getbody) # 将 返回 的 内 容 定向 到 回调 函数 getboqy 

.setopt (pycurl.WRITEHEADER,  fileobj) # 将 返回 的 HTTP HEADER 定 向 到 fileobj 文 件 对 象 

.Setopt (pycurl.WRITEDATA, fileobj) # 将 返回 的 HTML 内 容 定 向 到 fileobj 文 件 对 象 


青 求 HTTP 头 的 User-Agent 


: 


QQ0Q00Q0QQoQooQooQonoQononon 


(TT ( ( ( ( ( [1 3 [Ru ( 


m 


- getinfo (option) 方法 ， 对 应 libcutl 包 中 的 cutl_easy_getinfo 方 法 ， 参 数 option 是 通过 libcutl 的 常量 来 指定 的 。 下 面 列举 常用 的 常量 列表 : 


c = pycurl.Curl O # 创 建 一 个 cur1 对 象 

c.getinfo (pycurl.HTTP CODE) # 返 回 的 HTTP 状 态 码 

c.getinfo (pycurl.TOTAL TIME) # 传 输 结 束 所 消耗 的 总 时 间 

c.getinfo (pycurl.NAMELOOKUP TIME) #DNS 解 析 所 消耗 的 时 间 

c.getinfo (pycurl.CONNECT TIME) # 建 立 连 接 所 消耗 的 时 间 

c.getinfo (pycurl.PRETRANSFER TIME) # 从 建立 连接 到 准备 传输 所 消耗 的 时 间 
c.getinfo (pycurl.STARTTRANSFER TIME) # 从 建立 连接 到 传输 开始 消耗 的 时 间 
c.getinfo (pycurl.REDIRECT TIME) # 重 定向 所 消耗 的 时 间 

c.getinfo (pycurl.SIZE UPLOAD) # 上 传 数据 包 大 小 

c.getinfo (pycurl.SIZE DOWNLOAD) # 下 载 数据 包 大 小 

c.getinfo (pycurl.SPEED DOWNLOAD) # 平 均 下 载 速度 

c.getinfo (pycurl.SPEED UPLOAD) # 平 均 上 传 速度 

c.getinfo (pycurl.HEADER SIZE) #HTTP 汰 部 大 小 


我 们 利用 libcurl 包 提供 的 这 些 常 量 值 来 达到 探测 Web 服 务 质量 的 目的 。 


2.4.2 实践: 实现 探测 Web 服 务 质量 


HTTP 服 务 是 最 流行 的 互联 网 应 用 之 一 ， 服 务 质量 的 好 坏 关 系 到 用 户 体 验 以 及 网 站 的 运营 服务 水 平 ， 最 常用 的 有 两 个 标准 ， 一 为 服务 的 可 用 性 ， 比 如 是 否 处 于 正常 提供 服务 状态 ， 而 不 是 出 现 404 页 面 未 
找到 或 500 页 面 错误 等 ;二 为 服务 的 响应 速度 ， 比 如 静态 类 文件 下 载 时 间 都 控制 在 富 秒 级 ， 动 态 CG| 为 秒 级 。 el 质量 的 探测 ， 获 取 监 控 URL 返 回 的 HTTP 
状态 码 ，HTTP 状 态 码 采 用 pycurl.HTTP_CODE 常 量 得 到 ， 以 及 从 HTTP 请 求 到 完成 下 载 期 间 各 环节 的 响应 时 间 ， 通 过 pycurl.L.NAMELOOKUP_TIME、pycurl.CONNECT TIME, 
pycurl.PRETRANSFER TIME、pycurl.R 等 常量 来 实现 。 另 外 通过 pycurl.WRITEHEADER、pycurl.WRITEDATA 常 量 得 到 目标 URL 的 HTTP 响 应 头 部 及 页 面 内 容 。 实 现 源码 如 下 : 


[/home/test/pycurl/simple1.py] 


F =*= codings ‘utf-8 =*= 


import os» Sys 

import time 

import sys 

import pycurl 

URL-"http: //www.google.com.hk" # 探 测 的 目标 URL 

c = pycurl.Curl () # 创 建 一 个 Curl 对 象 

c.setopt (pycurl.URL, URL) # 定 义 请 求 的 URI 常 量 

c.setopt (pycurl.CONNECTTIMEOUT, 5) # 定 义 请 求 连 接 的 等 待 时 间 

c.setopt (pycurl.TIMEOUT, 5) # 定 义 请 求 超时 时 间 ， 

c.setopt (pycurl.NOPROGRESS, 1) # 屏 蔽 下 载 进 度 条 

c.setopt (pycurl.FORBID REUSE, 1) # 完 成 交互 后 强制 断 开 连接 ， 不 重用 

c.setopt (pycurl.MAXREDIRS, 1) # 指 定 HTTP 重 定向 的 最 大 数 为 1 

c.Setopt (pycurl.DNS CACHE TIMEOUT, 30) # 设 置 保存 DNS 信 息 的 时 间 为 30 秒 

# 创 建 一 个 文件 对 象 ， 以 “wb 方式 打开 ， 用 来 存储 返回 的 http 头 部 及 页 面 内 容 

indexfile = open (os.path.dirname (os.path. d ( file ) -*"/content.txt",  "wb") 
c.setopt (pycurl.WRITEHEADER,  indexfile) # 将 返回 的 HITP HEADER 定 向 到 indexfile 文 件 对 象 
c.setopt (pycurl.WRITEDATA, indexfile) # 将 返回 的 HTML 内 容 定 向 到 indqexfile 文 件 对 象 


try: 
c.perform () # 提 交 请 求 
except Exception, e: 
print "connecion error: "*str (e) 
indexfile.close (OO 
c.close () 
sys.exit () 


= c.getinfo (c.NAMELOOKUP TIME) # 获 取 DNS 解 析 时 间 

c.getinfo (c.CONNECT TIME) ”# 获 取 建 立 连接 时 间 

PRETRANSFER TIME = c.getinfo (c.PRETRANSFER TIME) en aS 

# 时 间 

STARTTRANSFER TIME = c.getinfo (c.STARTTRANSFER TIME) uk n TIR 台 消 
J 时 间 


TOTAL TIME = c.getinfo (c.TOTAL TIME) # 获 取 传 输 的 总 时 间 
E c.getinfo (c.HTTP CODE) # 获 取 HTTP 状 态 码 

SIZE DOWNLOAD = c.getinfo (c.SIZE DOWNLOAD) # 获 取 下 载 数据 包 大 小 

HEADER SIZE = c.getinfo (c.HEADER SIZE) # 获 取 HTTP 头 部 大 小 

SPEED DOWNLOAD-c.getinfo (c.SPEED DOWNLOAD) # 获 取 平 均 下 载 速度 

# 打 印 输出 相关 数据 

print "HTTP 状 态 码 : $s" % (HTTP CODE) 

print "DNS 解析 时 间 : %.2f ms"$ C(NAMELOORUP TIME*1000) 

print "建立 连接 时 间 : $.2f£ ms" % (CONNECT TIME*1000) 

print "准备 传输 时 间 : $.2£ ms" % (PRETRANSFER TIME*1000) 

print "传输 开始 时 间 : $.2£ ms" % CSTARTTRANSFER TIME*1000) 

print "传输 结束 总 时 间 : $.2f ms" % (TOTAL TIME*1000) 

print "下 载 数据 包 大 小 :%qd bytes/s" $ CSIZE DOWNLOAD) 

print "HTTP 头 部 大 小 : $d byte" % (HEADER SIZE) 

print "平均 下 载 速 度 : $d bytes/s" % (SPEED DOWNLOAD) 

# 关 闭 文件 及 Curl 对 象 

indexfile.close () 

c.close () 


代码 的 执行 结果 如 图 2-9 所 示 。 


[roote85N2013-08-0270 pycurl]£ python simplel.py 


HIIPiRzaB: 200 


|DNSSEETTHETIB]I: 113.18 ms 
建立 连接 时 间 : 300.70 ms 
稚 备 传输 时 间 : 301.00 ms 
Etita E: 2 30 ms 


HEM apf]: 50/.52 ms 


下 载 数 据 包 大 小 : 12006 bytes/s 


IHTTP 头 部 大 小 : 798 byte 
平均 下 载 速 度 : 23050 bytes/s 


图 2-9 ”探测 到 的 Web 服 务 质 量 


查看 获取 的 HTTP 文 件 头 部 及 页 面 内 容 文件 content.txt， 如 图 2-10 所 示 。 


pr 2014 15:19:04 GMT 


Ist ES HTTP HEADER 
Fxpires: -1 


Jache-Control: private, max-age-0 

Lontent-Iype: text/html; charset-Big5 

»et-Cookie: PREF-ID-e2c1021e3b4d356e8 : FF-8: NW-1: IM-1398706344: LM=1398 2700344: S=X1ev 4S 
»et-Cookie: NID-6/-POW3T5im?/sfXTFZVXPO9mOSQq9S5B3MIQqtAóoSnl xh. AbbdNó61Y3Q2vKOc1iX TmhaG 
»:19:04 GMIT; path-/; domain-.google.com.hk; HttpOnly 

t3P: CP-2"Ihis 1s not a P3P policy! See http: //www.google.com/support/accounts/b1in/ü 
Server: gws 

K-As55-Protection: 1; mode-block 

-Frame-Options: SAMEORIGIN 

Alternate-Protocol: 80:quic 

'ransfer-Encoding: chunked 
4ldoctype htmls<html itemscope-"" itemtype-"http://schema.org/WebPage" Lang-"zh-HK" 
4script-(function( )1 HTTP BODY 

Qindow.google-1kEI: 6oNLXU-TOEMyokAXeuACOCA" , getET: function(a)1for(var b;a&&(la.getA! 
ireturn"https: "—window.Llocation.protocolt,kEXPI:"1/259,40001160,400/001 ,400/830 , 400 
40123/3,40127504,40133/4,4013414,4013591,4013/23,4013/58,4013/8/7 ,4013873,4013906/ , AP 
3,4015155,4015234,4015260,4015342 ,4015519,4015550,4015635,4015038,4015039,4015//? ,1 
15,4016460,40164/9,401048/ ,4016023,4016/053,4010/30,401060/60/,4016500, 4010524 , 4016851, / 


V JIALALA] S S7 ZEACLATLAC NLIAATREL SELATA RR'INF/'FWFEIIETTNE FW. 
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图 2-10 content.txt#, E] 


sa 4240 
Os 5 JAE/JN 


2.4.1 节 pycutl 模 块 的 常用 类 与 方法 说 明 参 考官 网 http://pycutl.soutcefotge.net/docVindex.html。 
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在 日 常 运 维 工作 当中 ， 会 涉及 大 量 不 同 来 源 的 数据 ， 比 如 每 天 的 服务 器 性 能 数据 、 平 台 监控 数据 、 自 定义 业务 上 报 数据 等 ， 需 要 根据 不 同时 段 ， 周 期 性 地 输出 数据 报表 ， 以 方便 管理 员 更 加 清晰 、 及 时 


地 了 解 业务 的 运营 情况 。 在 业务 监控 过 程 中 ， 也 需要 更 加 直观 地 展示 报表 ， 以 便 快 速 定位 问题 。 本 章 介 绍 Excel 操 作 模块 、rrdtool 数 据 报表 、scapy 包 处 理 等， 相关 知识 点 运用 到 运营 平台 中 将 起 到 增色 添彩 
的 作用 。 


Excel 是 当今 最 流行 的 电子 表格 处 理 软件 ， 支 持 丰富 的 计算 函数 及 图 表 ， 在 系统 运营 方面 广泛 用 于 运营 数据 报表 ， 比 如 业务 质量 、 资 源 利用 、 安 全 扫描 等 报表 ， 同 时 也 是 应 用 系统 常见 的 文件 导出 格式 ， 
以 便 数 据 使 用 人 员 做 进一步 加 工 处 理 。 本 节 主 要 讲述 利用 Python 操 作 Excel 的 模块 XlsxWriter (https://xlsxwriter.readthedocs.org) ， 可 以 操作 多 个 工作 表 的 文字 、 数 字 、 公 式 、 图 表 等 。XlsxWriter 模 块 
具有 以 下 功能 : 


: 100% 兼 容 的 Excel XLSX 文 件 ， 支 持 Excel 2003, Excel 2007 等 版 本 ; 
© 支持 所 有 Excel 单 元 格 数据 格式 ; 

. 单元 格 合并 、 批 注 、 自 动 筛选 、 丰 富 多 格式 字符 串 等 ; 

C 支持 工作 表 PNG、JPEG 图 像 ， 自 定义 图 表 ; 

- 内 存 优化 模式 支持 写 入 大 文件 。 


XIsxWriter 模 块 的 安装 方法 如 下 : 


# pip install XlsxWriter #pip 安 装 方法 

# easy install XlsxWriter #easy install 安 装 方法 

TRI CRETA 

# curl -O -L http: //github.com/jmcnamara/XlsxWriter/archive/master.tar.gz 
# tar zxvf master.tar.gz 

# cd XlsxWriter-master/ 

# sudo python setup.py install 


下 面 通过 一 个 简单 的 功能 演示 示例 ， 实 现 插入 文字 (中 英 字符 ) 、 数 字 ( 求 和 计算 ) 、 图 片 、 单 元 格格 式 等 ， 代 码 如 下 : 


[/home/test/XlsxWriter/simple1.py] 


#coding: utf-8 

import xlsxwriter 

workbook = xlsxwriter.Workbook ('demol.xlsx') # 创 建 一 个 Excel 文 件 

worksheet = workbook.add worksheet () # 创 建 一 个 工作 表 对 象 

worksheet.set column ('A: A', 20) # 设 定 第 一 列 CAO 宽度 为 20 像 素 

bold = workbook.add format (('bold': True)? # 定 义 一 个 加 粗 的 格式 对 象 
worksheet.write ('Al', 'Hello') #A1 单 元 格 写 入 'Hello' 

worksheet.write ('A2', 'World', bold) #A2 单 元 格 写 入 'Worlg' 并 引用 加 粗 格 式 对 象 bold 
worksheet.write ('B2', u' 中 文 测试 '"， bold) #B2 单 元 格 写 入 中 文 并 引用 加 粗 格式 对 象 bold 
worksheet.write (2, 0, 32) # 用 行列 表示 法 写 入 数字 '32' 与 '35.5" 

worksheet.write (3, 0, 35.5) # 行 列表 示 法 的 单元 格 下 标 以 0 作为 起 始 值 ，'3，0 等 价 于 'RA3， 
worksheet.write (4, 0, '=SUM (A3: A4) ') PRAS: A4 的 和 ， 并 将 结果 写 入 '4，0'， 即 'A5' 
worksheet.insert image ('B5', 'img/python-logo.png') # 在 B5 单 元 格 插入 图 片 
workbook.close () # 关 闭 Excel 文 件 


程序 生成 的 demo1.xlsx 文 档 截 图 如 图 3-1 所 示 。 


1 Helle 
"World 


| Sheet! ae 


图 3-1 demol.xlsx X44 R, E 


3.1.1 ”模块 常用 方法 说 明 


1.Workbook 类 


Workbook 类 定义 : Workbook (filename[, options]) ， 该 类 实现 创建 一 个 XlsxWriter 的 Workbook 对 象 。 Workbook 类 代表 整个 电子 表格 文件 ， 并 且 存 储 在 磁盘 上 。 参 数 filename (String 类 型 ) 
为 创建 的 Excel 文 件 存储 路 径 ; 参数 options (Dict 类 型 ) 为 可 选 的 Workbook 参 数 ， 一 般 作为 初始 化 工作 表 内 容 格 式 ， 例 如 值 为 {strings_to_numbers': True} 表 示 使 用 worksheet.write () 方法 时 激活 字 
符 串 转换 数字 。 


: add, worksheet ([sheetname]) 方法 ， 作 用 是 添加 一 个 新 的 工作 表 ， 参 数 sheetname (Stting 类 型 ) 为 可 选 的 工作 表 名 称 ， 默 认为 Sheet1。 例 如 ， 下 面 的 代码 对 应 的 效果 图 如 图 3-2 所 示 。 


worksheetl = workbook.add worksheet () # Sheetl 
worksheet2 = workbook.add worksheet ('Foglio2') # Foglio2 
worksheet3 = workbook.add worksheet ('Data') # Data 

worksheet4 = workbook.add worksheet () # Sheet4 


E3-2 ”添加 新 工作 表 


: add format ([properties]) 方法 ， 作 用 是 在 工作 表 中 创建 一 个 新 的 格式 对 象 来 格式 化 单元 格 。 参 数 propetties (dict 类 型 ) 为 指定 一 个 格式 属性 的 字典 ， 例 如 设置 一 个 加 粗 的 格式 对 
$&, wotkbook.add format ({'bold': True}) 。 通 过 Format methods (格式 化 方法 ) 也 可 以 实现 格式 的 设置 ， 等 价 的 设置 加 粗 格 式 代 码 如 下 : 


bold = workbook.add format () 
bold.set bold () 


更 多 格式 化 方法 见 http://xlsxwriter.readthedocs.org/working with formats.html, 


: add chart (options) 方法 ， 作 用 是 在 工作 表 中 创建 一 个 图 表 对 象 ， 内 部 是 通过 insett_chart () 方法 来 实现 ， 参 数 options (dict 类 型 ) 为 图 表 指 定 一 个 字典 属性 ， 例 如 设置 一 个 线条 类 型 的 图 表 对 象 ， 代 
43 A chart=workbook.add_chart (ftype': 'line'}) o 


: dose () 方法 ， 作 用 是 关闭 工作 表 文 件 ， 如 wotkbook.close () 。 
2.Worksheetzé 


Worksheet 类 代表 了 一 个 Excel 工 作 表 ， 是 XlsxWriter 模 块 操作 Excel 内 容 最 核心 的 一 个 类 ， 例 如 将 数据 写 入 单元 格 或 工作 表格 式 布局 等 。Worksheet 对 象 不 能 直接 实例 化 ， 取 而 代 之 的 是 通过 
Workbook 对 象 调用 add_worksheet () 方法 来 创建 。Worksheet 类 提供 了 非常 丰富 的 操作 Excel 内 容 的 方法 ， 其 中 几 个 常用 的 方法 如 下 : 


: write (row, col, *args) 方法 ， 作 用 是 写 普通 数据 到 工作 表 的 单元 格 ， 参 数 trow 为 行 坐 标 ，col 为 列 坐 标 ， 坐 标 索 引起 始 值 为 0; *args 无 名 字 参 数 为 数据 内 容 ， 可 以 为 数字 、 公 式 、 字 符 串 或 格式 对 象 。 
为 了 简化 不 同 数 据 类 型 的 写 入 过 程 ，wtite 方 法 已 经 作为 其 他 更 加 具体 数据 类 型 方法 的 别名 ， 包 括 : 


write sting () 写 入 字符 串 类 型 数据 ， 如 : 


worksheet.write string (0, 0, 'Your text here') ; 


: write number () 写 入 数字 类 型 数据 ， 如 : 


worksheet.write number ('A2', 2.3451) ; 


: write blank () 写 入 空 类 型 数据 ， 如 : 


worksheet.write ('A2', None) ; 


: write formula () 写 入 公式 类 型 数据 ， 如 : 


worksheet .write formula (2, 0,  '-SUM (Bl: B5) '); 


: write datetime () 写 入 日 期 类 型 数据 ， 如 : 


worksheet.write datetime (7, 0, datetime.datetime.strptime ('2013-01-23', '%Y-%m-%d') , workbook.add format (('num format': 'yyyy-mm-dd'}) ) ; 


: write boolean () 写 入 逻辑 类 型 数据 ， 如 : 


worksheet.write boolean (0, 0, True); 


- write url () 写 入 超 链接 类 型 数据 ， 如 : 


worksheet.write url ('A1', 'ftp: //www.python.org/') o 


下 列 通 过 具体 的 示例 来 观察 别名 write 方法 与 数据 类 型 方法 的 对 应 关系 ， 代 码 如 下 : 


worksheet.write (0, 0,  'Hello') * write string () 
worksheet.write (1, 0,  'World') # write string () 
worksheet.write (2, 0, 2) # write number () 
worksheet.write (3, 0, 3.00001) * write number () 
worksheet.write (4, 0,  '-SIN CPI O /4) ') # write formula O 
worksheet.write (5, 0, '') # write blank () 
worksheet.write (6, 0, None) * write blank () 
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图 3-3 ”创建 单元 格 并 写 入 数据 的 工作 表 


set row (row, height, cell format, options) 方法 ， 作 用 是 设置 行 单元 格 的 属性 。 参 数 tfow (int 类 型 ) 指定 行 位 置 ， 起 始 下 标 为 0; 参数 height (float 类 型 ) 设置 行 高 ， 单 位 像素 ; 参数 
cell format (format 类 型 ) 指定 格式 对 象 ; 参数 options (dict 类 型 ) 设置 行 hidden (隐藏) ~ level (组 合 分 级 ) ~ collapsed (2p) 。 操 作 示 例如 下 : 


# 在 Al 单 元 格 写 入 'Hello' 字 符 串 
True)) # 定 义 一 个 加 粗 的 格式 对 象 
# 设 置 第 1 行 单元 格 高 度 为 40 像 素 ， 且 引用 加 粗 


# 格 式 对 象 
('hidden': True}) # 隐 藏 第 2 行 单 元 格 


worksheet.write ('A1',  'Hello') 
cell format = workbook.add format (('bold': 
worksheet.set row (0, 40, cell format) 

None, 


worksheet.set row (1, None, 


上 述 示例 将 创建 一 个 如 图 3-4 所 示 的 工作 表 。 


图 3-4 设置 行 单元 格 属性 后 的 效果 


set column (first col, last col, width, cell format, options) 方法 ， 作 用 为 设置 一 列 或 多 列 单元 格 属性 。 参 数 first_col (int 类 型 ) 指定 开始 列 位 置 ， 起 始 下 标 为 0; 参数 last_col (int 类 型 ) 指定 结束 列 位 
置 ， 起 始 下 标 为 0， 可 以 设置 成 与 first_col 一 样 ;) 参数 width (float 类 型 ) 设置 列 宽 ; 参数 cell_format (Format 类 型 ) 指定 格式 对 象 ; 参数 options (dict 类 型 ) 设置 行 hidden (隐藏 ) ~ leve (组 合 分 级 ) 、 
collapsed (Jp4&) 。 操 作 示例 如 下 : 


worksheet.write ('A1', 'Hello') # 在 Al 单 元 格 写 入 'Hello' 字 符 串 
worksheet.write ('B1', 'World') # 在 B1 单 元 格 写 入 "Wor1d' 字 符 串 
cell format = workbook.add format (('bold': True) # 定 义 一 个 加 粗 的 格式 对 象 


# 设 置 0 到 1 即 (A 到 B) ” 列 单元 格 宽度 为 10 像 素 ， 
且 引 用 加 粗 格式 对 象 
worksheet.set column (0, 1, 10, cell format) 
worksheet.set column ('C: D', 20) # 设 置 C 到 D 列 单元 格 宽度 为 20 像 素 
worksheet.set column ('E: G', None, None, (['hidden': 1) # 隐 藏 E 到 G 列 单元 格 


上 述 示例 将 创建 一 个 如 图 3-5 所 示 的 工作 表 。 


.insett_image (row, col, image[, options]) 方法 ， 作 用 是 插入 图 片 到 指定 单元 格 ， 支 持 PNG、JPEG、BMP 等 图 片 格 式 。 参 数 fow 为 行 坐标 ，col 为 列 坐标 ， 坐 标 索引 起 始 值 为 0;) 参数 image (stting 类 型 ) 
为 图 片 路 径 ; 参数 options (dict 类 型 ) 为 可 选 参 数 ， 作 用 是 指定 图 片 的 位 置 、 比 例 、 链 接 URL 等 信息 。 操 作 示 例如 下 : 


# 在 B5 单 元 格 插入 python-logo.png 图 片 ， 图 片 超级 链接 为 http: //python.org 
worksheet.insert image ('B5', 'img/python-logo.png', {'url': "http: //python.org']) 


上 述 示例 将 创建 一 个 如 图 3-6 所 示 的 工作 表 。 
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图 3-6 ”插入 图 片 到 单元 格 的 效果 
3.Chart 类 


T : " - 
Chart 类 实现 在 XIsxWriter 模 块 中 图 表 组 件 的 基 类 ， 支 持 的 图 表 类 型 包括 面积 、 条 形 图 、 柱 形 图 、 折 线 图 、 饼 图 、 散 点 图 、 股 票 和 雷达 等 ， 一 个 图 表 对 象 是 通过 Workbook (TF) Bgadd chart 方法 


创建 ， 通 过 {type， 图表 类 型 字典 参数 指定 图 表 的 类 型 ， 语 句 如 下 : 


chart = workbook.add chart ({type, 'column'}) # 创 建 一 个 column GEW) 图 表 
更 多 图 表 类 型 说 明 : 


.atea: 创建 一 个 面积 样式 的 图 表 ; 

Cbar: 创建 一 个 条 形 样 式 的 图 表 ; 

: column: 创建 一 个 柱 形 样式 的 图 表 ; 

line: 创建 一 个 线条 样式 的 图 表 ; 

pie: 创建 一 个 饼 图 样式 的 图 表 ; 

"scatter: 创建 一 个 散 点 样式 的 图 表 ; 

stock: 创建 一 个 股票 样式 的 图 表 ; 

radar: 创建 一 个 雷达 样式 的 图 表 。 

然后 再 通过 Worksheet (工作 表 ) BSinsert chart () 方法 插入 到 指定 位 置 ， 语 句 如 下 : 
worksheet.insert chart ('A7', chart) # 在 A7 单 元 格 插入 图 表 

下 面 介 绍 chart 类 的 几 个 常用 方法 。 

: chartadd series (options) 方法 ， 作 用 为 添加 一 个 数据 系列 到 图 表 ， 参 数 options (dict 类 型 )》 设置 图 表 系 列 选项 的 字典 ， 操 作 示 例如 下 : 


chart.add series (( 


'categories':  '-Sheetl! SAS1: SASb', 
'values': '-Sheetl! SBS1: $B$5', 
'line': ('color': 'red') 


p 
add_ series 方法 最 常用 的 三 个 选项 为 categories、values、line， 其 中 categories 作 为 是 设置 图 表 类 别 标签 范围 ; values 为 设置 图 表 数 据 范围 ; line 为 设置 图 表 线 条 属性 ， 包 括 颜色 、 宽 度 等 。 
" 其 他 常用 方法 及 示例 。 

'set x axis (options) 方法 ， 设 置 图 表 X 轴 选项 ， 示 例 代 码 如 下 ， 效 果 图 如 图 3-7 所 示 。 


chart.set x axis ({ 


'name': "Earnings per Quarter', # 设 置 x 轴 标题 名 称 
'name font': {'size': 14, 'bold': True], # 设 置 Xx 轴 标 题字 体 属 性 
'num font': ['italis's True }, # 设 置 x 轴 数字 字体 属性 


p) 
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E Series3 


3 
Earnings per Quarter 


图 3-7 ”设置 图 表 X 轴 选项 
.set_size (options) 方法 ， 设 置 图 表 大 小 ， 如 chatt'set_size (('width': 720, 'height': 5761) ， 其 中 width 为 宽度 ，height 为 高 度 。 


set title (options) 方法 ,设置 图 表 标 题 ， 如 chatt.set_title (('name': "Year End Results']) ， 效 果 图 如 图 3-8 所 示 。 


Year End Results 


B Series] 
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图 3-8 设置 图 表 标 题 


set style (style id) 方法 ， 设 置 图 表 样 式 ，style_id 为 不 同 数 字 则 代表 不 同样 式 ， 如 chatt.set_style (37) ， 效 果 图 如 图 3-9 所 示 。 
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图 3-9 ”设置 图 表 样 式 


set table (options) 方法 ， 设 置 X 轴 为 数据 表格 形式 ， 如 chart.set_table () ， 效 果 图 如 图 3-10 所 示 。 


Series1 


Series3 


3.1.2. 实践: 定制 自动 化 业务 流量 报表 周报 


本 次 实践 通过 定制 网 站 5 个 频道 
workbook.add chart (('type': 


的 邮件 推送 ， 本 示例 略 去 此 功能 。 


[/home/test/XlsxWriter/si 


#coding: utf-8 
import xlsxwriter 


'column')) 方法 指 
add series () 方法 将 数据 添加 到 图 表 ， 同 时 使 用 chart.set size, set title, set y axis 设 置 图 表 的 大 小 及 标题 属性 ， 最 后 


首 的 流量 报表 周报 ， 


实现 的 代码 如 下 : 


mple2.py] 


workbook = xlsxwriter.Workbook ('chart.xlsx') 


worksheet = workbook.add worksheet () 


chart = workbook.add chart (('type': '"'column']) # 创 建 一 个 图 表 对 象 

# 定 义 数据 表 头 列表 

title = [u' 业 务 名 称 '，u' 星 期 一 '"，u' 星 期 二 '，u' 星 期 三 '"，u' 星 期 四 '，u' 星 期 五 '，u' 星 期 六 '，u' 星 期 日 '"，u' 平 均 流 量 '] 
buname= MNT u' 新 闻 中 心 '，u' 购 物 频 道 '"，u' 体 育 频 道 '，u' 亲 子 频道 '] # 定 义 频道 名 称 

# 定 义 5 频 道 一 周 7 天 流量 数据 列表 

data = [ 


图 3-10 


过 XlsxWriter 模 块 将 流量 数据 写 入 Excel 文 档 ， 同 时 自动 计算 各 频道 
定 图 表 类 型 为 柱 形 ， 使 用 write_ row、write_column 方 法 分 别 以 行 、 列 方式 写 入 数据 ， 使 用 add format () 方法 定制 表 头 、 表 体 的 显示 风格 ， 使 用 


# 创 建 一 个 Excel 文 件 


# 创 建 一 个 工作 表 对 象 


设置 X 轴 为 数据 表格 形式 


150, 152, 158, 149, 155, 145, 148]. 


89, 88, 95, 93, 98, 10 


0, 99], 


[ 
[ 
[201, 200, 198, 175, 170, 198, 195], 
[ 
[ 


75, 77, 78, 78, 74, 70, 79], 
88, 85, 87, 90, 93, 88, 84], 
format-workbook.add format () # 定 义 Eormat 格 式 对 象 
format.set border (1) # 定 义 format 对 象 单元 格 边框 加 粗 (1 像素 〉 的 格式 
Format title=workbook.add format () # 定 义 Eormat title 格 式 对 象 
format title.set border (1) HEX format 七 让 Je 对 象 单元 格 边框 加 粗 〈1 像 素 ) 的 格式 
a 


# 定 义 format titlLe 对 象 单 元 格 背景 颜色 为 


# 下 面 分 别 以 行 或 


列 写 入 方式 将 标题 、 业务 名 称 、 


流量 数据 写 入 起初 单元 格 ， 同 时 引 月 


ormat title.set bg color ('#cccccc') 

EN #'#cccccc' 的 稻 式 
format title.set align ('center') # 定 义 format title 对 象 单元 格 居中 对 齐 的 格式 
format title.set bold O dx X format title 对 象 单元 格 内 容 加 粗 的 格式 
format ave-workbook.add format () ix X format ave 格 式 对 象 
format ave.set | a (1) # 定 义 format ave 对 象 单元 格 边 框 加 粗 (1 像素 〉 的 格式 
format ave.se format ('0.00') # 定 义 format ave 对 象 单 元 格 数字 类 别 显示 格式 


日 不 同 格式 对 象 


worksheet.write row ('A1', title, format title) 
worksheet.write column ('A2', buname, format) 
worksheet.write row ('B2', data[0], format) 
worksheet.write row ('B3', data[1]. format) 
worksheet.write row ('B4', data[2], format) 
bue e MK. row ('B5', data[3]. format) 
worksheet te row ('B6', data[4]. format) 

# 定 义 图 表 数 据 系列 函数 


def chart series (cur row) : 
worksheet.write 


formula ('I 


'+cur row, \ 


'=AVERAGE (B'+cur rowt': H 


chart.add series ({ 


'+cur rowt') ', und QE 


# 计 算 (AVERAGE 


函数 ) 频 


道 周 平均 流 便 


# 将 "星期 一 至 星期 日 “作为 图 表 数 据 标签 XA 


# 频 道 一 周 所 有 数据 作 


'categories':  '-Sheetl! $B$1: SHS1', 
'values': '—Sheetl1! $B$'+cur row-t': $H$'+cur row, 

E u # 为 数据 区 域 
'line': ('color': 'black'}, # 线 条 颜色 定义 为 black GRf&) 
'name': '-Sheetl! $A$'4cur row, # 引 用 业务 名 称 为 图 例 项 


I» 
for row in range (2, 7): 

chart series (str (row) ) 
fchart.set table () 
#chart.set style (30) 
chart.set size (('width': 577, 
chart.set title ({'name': u'y 
chart.set y axis (('name': "Mb 
worksheet.insert chart ('A8', 


# 设 置 Xx 轴 表 
# 设 置 图 表 样式 ， 本 示例 不 启用 


格格 式 ， 本 示例 不 启用 


'height': 287}) 
务 流量 周报 图 表 ' }) 
/s')) d ELyfi CIE DUO. 小 标题 

chart) # 在 A8 单 元 格 插入 图 表 


workbook.close (D # 关 闭 Exce] 


文档 


# 数 据 域 以 第 2~6 行 进行 图 表 数 据 系列 函数 调用 


# 设 置 图 表 大 小 
# 设 置 图 表 ( 上方) 大 标题 


首 周 平均 流量 ， 再 生成 数据 图 表 。 具 体 是 


B Series] 


国 Series2 


* Series3 


通过 insert_chart 方 法 将 图 表 插 入 工作 表 中 。 我 们 可 以 结合 2.3 节 的 内 容 来 实现 周报 


上 述 示例 将 创建 一 个 如 图 3-11 所 示 的 工作 表 。 


: | cha rt.xl sx - Micro soft Excel 


| 


4 E D 

DEED S gi x SN 
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新 闻 中 心 L— "s e| — s s 3 
4 | 购物 频道 
体言 频道 
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业务 流量 周报 图 表 
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图 3-11 


业务 流量 周报 图 RIR 


Qrin 3.4.1 节 XlsxWrite 模 块 的 常用 类 与 方法 说 明 参 考官 网 http://xlsxwtiter.readthedocs.otrg。 


3.2 Python 与 rrdtool 的 结合 模块 


gu iB. 
/ gage T 


mm 


23 T 


y 六 


H L 


日 | 平均 流量 


mia EH 
E žig] Fa is 
mni 
B EIE 
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rrdtool (round robin database) 工具 为 环 状 数据 库 的 存储 格式 ，round robin 是 一 种 处 理 定量 数据 以 及 当前 元 素 指 针 的 技术 。rrdtool 主 要 用 来 跟踪 对 象 的 变化 情况 ， 生 成 这 些 变 化 的 走势 图 ， 比 如 业 


务 的 访问 流量 、 
个 复杂 的 工具 ， 
点 放 在 Python rrdtool 模 块 的 常用 方法 使 用 介绍 上 。 


系统 性 能 、 磁 盘 利 用 率 等 趋势 图 ， 很 多 流行 监控 平台 都 使 用 到 rrdtool， 比 较 有 名 的 为 Cacti、Ganglia、Monitorix 等 。 更 多 rrdtool 介 


rrdtool 模 块 的 安装 方法 如 下 : 


绍 见 官网 http://oss.oetiker.ch/rrdtool/。rrdtool 是 一 
涉及 较 多 参数 概念 ， 本 节 主 要 通过 Python 的 rrdtool 模 块 对 rrdtool 的 几 个 常用 方法 进行 封装 ， 包 括 create、fetch、graph、info、update 等 方法 ， 本 节 对 rrdtool| 的 基本 知识 不 展开 说 明 ， 重 


python-rrdtool #pip 安 装 方法 
python-rrdtool feasy install 安 装 方法 
TELLS G gi. CentOS 环 境 推荐 使 用 yum 安 装 方法 
l rrdtool-python 


easy install 
pip install 
# 和 需要 rrdtool 
# yum instal 


3.2.1 _ rrdtool 模块 常用 方法 说 明 


下 面 介 绍 rrdtool 模 块 常用 的 几 个 方法 ， 包 括 create (创建 rrd) 、update (更 新 rrd) 、graph (绘图 ) 、fetch (查询 rrd) 等 。 


1.Create 方 法 


create filename[--start|-b start time][--step|-s step][DS: ds-name: DST: heartbeat: min: max][RRA: CF: xff: steps: rows] 方 法 ， 创 建 一 个 后 缀 为 rrd 的 rrdtool 数 据 库 ， 参 数 说 明 如 下 : 


:filename 创建 的 fttdtool 数 据 库 文 件 名 ， 默 认 后 组 为 .ttd; 


- --Statt 指 定 frdtool 第 一 条 记录 的 起 始 时 间 ， 必 须 是 timestamp 的 格式 ; 


- --steb 指 定 trdtool 每 隔 多 长 时 间 就 收 到 一 个 值 ， 默 认为 5 分 钟 ; 
* DS 用 于 定义 数据 源 ， 用 于 存放 脚本 的 结果 的 变量 ，; 


: DST 用 于 定义 数据 源 类 型 ，rrdtool 支 持 COUNTER (递增 类 型 ) . DERIVE (可 递增 可 递减 类 型 ) 、ABSOLUTE (假定 前 一 个 时 间 间 隔 的 值 为 0， 再 计算 平均 值 ) . GUAGE ( 收 到 值 后 直接 存 入 
RRA) 、COMPUTE (定义 一 个 表达 式 ， 引 用 DS 并 自动 计算 出 某 个 值 ) 5 种 ， 比 如 网 卡 流量 属于 计数 器 型 ， 应 该 选择 COUNTER ; 


: RRA 用 于 指定 数据 如 何 存放 ， 我 们 可 以 把 一 个 RRA 看 成 一 个 表 ， 保 存 不 同 间隔 的 统计 结果 数据 ， 为 CE 做 数据 合并 提供 依据 ， 定 义 格 式 为 : [RRA: CF: xff: steps: rows]; 
.CE 统计 合并 数据 ， 支 持 AVERAGE (平均 值 ) ~ MAX GR X48) ~ MIN (RIE) ~ LAST (最 新 值 ) 4 种 方式 。 
2.update75;X 


update filename[--template|-t ds-name[: ds-name]http://www.hzcourse.com/resource/readBook? 
pathz/openresources/teach ebook/uncompressed/14964/OEBPS/Text/...]N|timestamp: value[: valuehttp://www.hzcourse.com/resource/readBook? 
path-/openresources/teach ebook/uncompressed/14964/OEBPS/Text/...][timestamp: value[: valuehttp://www.hzcourse.com/resource/readBook? 
path-z/openresources/teach ebook/uncompressed/14964/OEBPS/Text/...]http://www.hzcourse.com/resource/readBook? 
path=/openresources/teach_ebook/uncompressed/14964/OEBPSVText/.…] 方 法 ， 存 储 一 个 新 值 到 rrdtool 数 据 库 ，updatev 和 Update 类似， 区 别 是 每 次 播 入 后 会 返回 一 个 状态 码 ， 以 便 了 解 是 否 成 功 
(updatev 用 0 表示 成 功 ，-1 表 示 失 败 ) 。 参 数 说 明 如 下 : 


: fename 指 定 存储 数据 到 的 目标 ttd 文 件 名 ; 

' -t ds-name[: ds-name] 指 定 需要 更 新 的 DS 名 称 ; 

NTimestamp 表 示 数 据 和 采集 的 时 间 珊 ，N 表 示 当 前 时 间 玲 ; 

: value[: valuehttp:/ /www.hzcourse.com/resoutce/readBook?path- /opentesoutces/teach_ebook/uncomptessed/14964/OEBPS/Text/..] 更 新 的 数据 值 ， 多 个 DS 则 多 个 值 。 
3.graph 方 法 


graph filename[-s|--start seconds][-e|--end seconds][-x|--x-grid x-axis grid and label][-y|--y-grid y-axis grid and label][--alt-y-grid][--alt-y-mrtg][--alt-autoscale][--alt-autoscale-max][-- 
units-exponent]value[-v|--vertical-label text][-w|--width pixels][-h|--height pixels][-i|--interlaced][-f|--imginfo formatstring][-a|--imgformat GIF|PNG|GD][-B|--background value][-O|--overlay 
value][-U|--unit value][-z|--lazy][-o|--logarithmic][-u|--upper-limit value][-!|--lower-limit value][-g|--no-legend][-r|--rigid][--step value][-b|--base value][-c|--color COLORTAG*7rrggbb][-t|-- 
title title][DEF: vnamezrrd: ds-name: CF][CDEF: vnamezrpn-expression][PRINT: vname: CF: format][GPRINT: vname: CF: format][COMMENT: text][HRULE: value£rrggbb[: 
legend]][VRULE: time£rrggbb[: legend]][LINE(1|2|3): vname[£*rrggbb[: legend]]][AREA: vname[£rrggbb[: legend]]][SSTACK: vname[£rrggbb[: legend]]] 方 法 ， 根 据 指定 的 rrdtoo| 数 据 库 进 行 
绘图 ， 关 键 参 数 说 明 如 下 : 


: flename 指 定 输出 图 像 的 文件 名 ， 默 认 是 PNG 格 式 ; 
 --Statt 指 定 起 始 时 间 ; 

: --end 指 定 结束 时 间 ， 

. --x-grid 控 制 义 轴 网 格 线 刻 度 、 标 签 的 位 置 ; 

: --y-gtid 控 制 Y 轴 网 格 线 刻度 、 标 签 的 位 置 ; 

- --vertical-label 指 定 Y 轴 的 说 明文 字 ; 

: -width pixels 指 定 图 表 宽 度 URK) ; 

` --height pixels 指 定 图 表 高 度 ( 像 素 ) ; 

: --imgformat 指 定 图 像 格式 (GIF|PNG|GD) ; 
 --background 指 定 图 像 背景 颜色 ， 支 持 #rrggbb 表 示 法 ; 

: --upper-limit 指 定 Y 轴 数据 值 上 限 ，; 

: --lower-limit 指 定 Y 轴 数据 值 下 限 ， 

: --no-legend 取 消 图 表 下 方 的 图 例 ; 

- --tigid 严 格 按照 upper-limit 与 lower-limit 来 绘制 

: --title 图 表 顶 部 的 标题 ; 

: DEF: vname=ttd: ds-name: CF 指定 绘图 用 到 的 数据 源 ; 
CDEF: vname=rpn-expression 合 并 多 个 值 ; 

- GPRINT: vname: CF: format 图 表 的 下 方 输出 最 大 值 、 最 小 值 、 平 均值 等 ; 
: COMMENT: text 指 定 图 表 中 输出 的 一 些 字符 串 ， 

: HRULE: value#ttggbb 用 于 在 图 表 上 面 绘制 水 平 线 ; 

: VRULE: time#rrggbb 用 于 在 图 表 上 面 绘制 重 直 线 ; 

` LINE {1|213}: vname 使 用 线条 来 绘制 数据 图 表 ，{1|213} 表示 线条 的 粗细 ; 


: AREA: vname 使 用 面积 图 来 绘制 数据 图 表 。 


4.fetch 方 法 

fetch filename CF[--resolution|-r resolution][--start|-s start]|--end|-e end] 方 法 ， 根 据 指 定 的 rrdtool 数 据 库 进行 查询 ， 关 键 参数 说 明 如 下 : 
: flename 指 定 要 查询 的 rtd 文件 名 ，; 
: CF 包括 AVERAGE、MAX、MIN、LAST， 和 要 求 必须 是 建 库 时 RRA 中 定义 的 类 型 ， 否 则 会 报错 


- --statt--end 指 定 查询 记录 的 开始 与 结束 时 间 ， 默 认可 省 略 。 


3.2.2 ”实践 : 实现 网 卡 流量 图 表 绘 制 


运营 工作 当中 ， 观 察 数据 的 变化 趋势 有 利于 了 解 我 们 的 服务 质量 ， 比 如 在 系统 监控 方面 ， 网 络 流量 趋势 图 直接 展现 了 当前 网 络 的 吞吐 。CPU、 内 人 存 、 磁 盘 空间 利用 率 趋势 则 反映 了 服务 器 运行 健 
康 状态 。 通 过 这 些 数据 图 表 管 理 员 可 以 提前 做 好 应 急 预 案 ， 对 可 能 人 存在 的 风险 点 做 好 防 学 。 本 次 实践 通过 rrdtool 模 块 实现 服务 器 网 卡 流量 趋势 图 的 绘制 ， 即 先 通 过 create 方 法 创建 一 个 rrdq 数 据 库 ， 再 通过 
update 方 法 实现 数据 的 写 入 ， 最 后 可 以 通过 graph 方 法 实现 图 表 的 绘制 ， 以 及 提供 last、first、info、fetch 方 法 的 查询 。 图 3-12 为 rrd 创 建 到 输出 图 表 的 过 程 


pH 
IT] 
Hk 


create rrd »| update rrd query rrd 


eraph png 


图 3-12 ”创建 、 更 新 ttd 及 输出 图 表 流程 
第 一 步 ” 采用 create 方 法 创建 rrd 数 据 库 ， 参 数 指定 了 一 个 rrd 文 件 、 更 新 频率 step、 起 始 时 间 --start、 数 据 源 DS、 数 据 源 类 型 DST、 数 据 周 期 定义 RRA 等 ， 详 细 源 码 如 下 : 


[/home/test/rrdtool/create.py] 


# -*- coding: utf-8 -*- 
#! /usr/bin/python 
import rrdtool 


import time 

cur time=str (int (time.time () ) ) # 获 取 当 前 Linux 时 间 惟 作为 rdq 起 始 时 间 
# 数 据 写 频率 --step 为 300 秒 〈 即 5 分 钟 一 个 数据 点 ) 

rrd-rrdtool.create ('Flow.rrd', '--step', '300', '--start', cur time 


uU 1 in (入 流量 ) . ethO out (出 流量 ) ; 类 型 都 为 COUNTER TIE 600 秒 为 心跳 值 ， 
含义 是 600 秒 没有 收 到 值 ， Wl Z-FHUNENOWNIG S; 0 为 最 小 值 ， 最 大 值 用 代替， 表示 不 确定 
i eth0 in: COUNTER: 600: 0: U', 
'D8: eth0 out: COUNTER: 600: 0: U', 
#RRA 定 义 格式 为 [RRA: CF: xff: steps: rows]，CF 定 义 了 AVERAGE、MAX、MIN 三 种 数据 合并 方式 
#xff 定 义 为 0.5， a I es 则 该 CDP 的 值 就 被 标 为 UNKNOWN 
# 下 列 前 4 个 RRRA 的 定义 说 明 如 下 ， 其 他 定义 与 AVERAGE 方 式 相 似 ， 区 别 是 存 最 大 值 与 最 小 值 
# 每 隔 5 分 钟 (1*300 秒 ) 存 一 次 数据 的 平均 值 ， 存 600 笔 ， 即 2.08 天 


# 每 隔 30 分 钟 (6*300 秒 ) 存 一 次 数据 的 平均 值 ， 存 700 笔 ， 即 14 .58 天 (2 周 ) 
# 每 隔 2 小 时 《24*300 秒 ) 存 一 次 数据 的 平均 值 ， 存 775 笔 ， 即 64.58 天 《2 个 月 ) 
# 每 隔 24 小 时 (288*300 秒 ) 存 一 次 数据 的 平 1 ^i, 存 797 笔 ， 即 797 天 〈2 年 ) 
'RRA: AVERAGE: 0.5: 1: 600', 
'RRA: AVERAGE: 0.5: 6: 700', 
'RRA: AVERAGE: 0.5: 24: 775', 
'RRA: AVERAGE: 0.5: 288: 797', 
'RRA: MAX: 0.5: 1: 600', 
'RRA: MAX: 0.5: 6: 700', 
'RRA: MAX: 0.5: 24: 775', 
'RRA: MAX: 0.5: 444: 797', 
'RRA: MIN: 0.5: 1: 600', 
'RRA: MIN: 0.5: 6: 700', 
'RRA: MIN: 0.5: 24: 775', 
'RRA: MIN: 0.5: 444: 797') 
if rrd: 
print rrdtool.error () 


第 二 步 ” 采 用 updatev 方 法 更 新 rd 数据库， 参数 指定 了 当前 的 Linux 时 间 戳 ， 以 及 指定 eth0_ in, ethO out(& (当前 网 卡 的 出 入 流量 ) ， 网 卡 流量 我 们 通过 psutil 模 块 来 获取 ， 如 
psutil.net io counters () [1 为 入 流量 ， 关 于 psutil 模 块 的 介绍 见 第 1.1。 详 细 源 码 如 下 : 


[/home/test/rrdtool/update.py] 


# -*- coding: utf-8 -*- 
#! /usr/bin/python 


import rrdtool 

import time, psutil 

total input traffic = psutil.net io counters () [1] # 获 取 网 卡 入 流量 

total output gom ic = psutil.net io counters () [0] # 获 取 网 卡 出 流量 

starttime-int (time.time () ) 坦 获 取 当 前 Linux 时 间 惟 

ACROSS IG TE coda teviti lt 返回 {'return value': 07} 则 说 明 更 新 成 功 ， 反之 失败 

update-rrdtool.updatev ('/home/test/rrdtool/Flow.rrd', '$s: $s: $s' $ (str (starttime) , str (total input traffic) , str (total output traffic) ) ) 
print update 


将 代码 加 入 crontab， 并 配置 5 分 钟 作为 采集 频率 ，crontab 配 置 如 下 : 


*/5 * x x * /usr/bin/python /home/test/rrdtool/update.py > /dev/null 2>&1 


第 三 步 ” 采 用 graph 方 法 绘制 图 表 ， 此 示例 中 关键 参数 使 用 了 --x-grid 定 义 X 轴 网 格 刻度 ; DEF 指定 数据 源 ; 使 用 CDEF 合 并 数据 ; HRULE 绘 制 水 平 线 (告警 线 ) ; GPRINT 输 出 最 大 值 、 最 小 值 、 平 均值 


等 。 详 细 源 码 如 下 : 


[/home/test/rrdtool/graph.py] 


# =*= coding: utf=8 =*= 
#! /usr/bin/python 


import rrdtool 

import time 

# 定 义 图 表 上 方 大 标 题 

title-"Server network traffic flow ("+time.strftime ('$Y-$m-$d', V 


time.localtime (time.time () ) ) 4") " 
# 重 点 解释 "--x-gridq"，"MINUTE: 12: HOUR: 1: HOUR: 1: 0: %H" 参 数 的 作用 (从 左 往 右 进行 分 解 ) 
"MINUTE: 12” 表 示 控 制 每 隔 12 分 钟 放置 一 根 次 要 格 线 


"HOUR: 1 表示 控制 每 隔 1 小 时 放置 一 根 主 要 格 线 

"HOUR: 1 表示 控制 1 个 小 时 输出 一 个 label1 标 签 

"0: 8H”0 表 示 数 字 对 齐 格 线 ，%H 表 示 标 签 以 小 时 显示 

rrdtool.graph ( "Flow.png", "--start", "-1d", "--vertical-label-Bytes/s", N 
"—-x-grid", "MINUTE: 12: HOUR: 1: HOUR: 1: 0: $H", N 

"-—Áwidth", "650", "--height", "230", "--title", title, 

"DEF: inoctets-Flow.rrd: eth0 in: AVERAGE", # 指 定 网 卡 入 流量 数据 源 DS 及 CF 

"DEF: outoctets-Flow.rrd: eth0 out: AVERAGE", # 指 定 网 卡 出 流量 数据 源 DS 及 CF 
"CDEF: total=inoctets, outoctets, +", # 通 过 CDEF 合 并 网 卡 出 入 流量 ， 得 出 总 流量 total 
"LINEI: total#FF8833: Total traffic", # 以 线条 方式 绘制 总 流量 

"AREA: inoctets#00FF00: In traffic", # 以 面积 方式 绘制 入 流量 

"LINEl: outoctets40000FF: Out traffic", # 以 线条 方式 绘制 出 流量 

"HRULE: 61444FF0000: Alarm value\\r", # 绘 制 水 平 线 ， 作 为 告警 线 ， 阔 值 为 6. 1k 
"CDEF: inbits-inoctets, 8, *", # 将 入 流量 换算 成 pit， 即 *8， 计 算 结 果 给 inbits 
"CDEF: outbits-outoctets, 8, *", # 将 出 流量 换算 成 bit， 即 *8， 计 算 结 果 给 outbits 
"COMMENT: Nr", # 在 网 格 下 方 输出 一 个 换行 符 

"COMMENT: NNr", 

"GPRINT: inbits: AVERAGE: Avg In traffic\:  $6.21f $Sbps", # 绘 制 入 流量 平均 值 
"COMMENT: ", 

"GPRINT: inbits: MAX: Max In traffic\: — $6.21f $Sbps", # 绘 制 入 流量 最 大 值 
"COMMENT: "s 

"GPRINT: inbits: MIN: MIN In traffic\:  $6.21f $Sbps Wr", # 绘 制 入 流量 最 小 值 
"COMMENT: ur 

"GPRINT: outbits: AVERAGE: Avg Out traffic\:  $6.21f $Sbps", # 绘 制 出 流量 平均 值 
"COMMENT: "g 

"GPRINT: outbits: MAX: Max Out traffic\:  $6.21f %Sbps", # 绘 制 出 流量 最 大 值 
"COMMENT: un 

"GPRINT: outbits: MIN: MIN Out traffic\:  $6.21f %Sbps\\r") # 绘 制 出 流量 最 小 值 


以 上 代码 将 生成 一 个 Flow.png 文 件 ， 如 图 3-13 所 示 。 
Qi 
查看 ttd 文 件 内 容 有 利于 观察 数据 的 结构 、 更 新 等 情况 ，ttdtool 提 供 几 个 常用 命令 : 
: info 查 看 ttd 文 件 的 结构 信息 ， 如 ttdtool info Flow.rrd; 
:first 查看 ttd 文 件 第 一 个 数据 的 更 新 时 间 ， 如 ttdtool first Flow.rrd; 
last 查看 ttd 文 件 最 近 一 次 更 新 的 时 间 ， 如 ttdtool last Flow.ftd ; 
' fetch 根 据 指 定时 间 、CEF 查 询 ttd 文 件 ， 如 ttdtool fetch Flow.rrd AVERAGE. 
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图 3-13 ”graph.py 执 行 输出 图 表 


Qs 提示 3.24 :dtool& A 368] http:/ /bbs.chinaunix.net/thread-2150417-1-1.html/fehttp:/ /oss.oetiker.ch/rrdtool/doc/index.en.html. 


3.3 ”生成 动态 路 由 轨迹 图 


scapy (http://www.secdev.org/projects/scapy/) 是 一 个 强大 的 交互 式 数据 包 处 理 程序 ， 它 能 够 对 数据 包 进行 伪造 或 解 包 ， 包 括 发 送 数 据 包 、 包 嗅 探 、 应 答 和 反馈 匹配 等 功能 。 可 以 用 在 处 理 网 络 扫 
描 、 路 由 跟踪 、 服 务 探测 、 单 元 测试 等 方面 ， 本 节 主 要 针对 scapy 的 路 由 跟踪 功能 ， 实 现 TCP 协 议 方 式 对 服务 可 用 性 的 探测 ， 比 如 常用 的 80 (HTTP) 5443 (HTTPS) 服务 ， 并 生成 美观 的 路 由 线路 图 报 
表 ， 让 管理 员 清 晰 了 解 探 测 点 到 目标 主机 的 服务 状态 、 骨 干 路 由 节点 所 处 的 1DC 位 置 、 经 过 的 运营 商 路 由 节点 等 信息 。 下 面 详细 进行 介绍 。 


scapy 模 块 的 安装 方法 如 下 : 


scapy 模 板 需要 tcpdump 程 序 支持 ， 生 成 报表 需要 graphviz、ImageMagick 图 像 处 理 包 支持 
yum -y install tcpdump graphviz ImageMagick 

源码 安装 

wget http: //www.secdev.org/projects/scapy/files/scapy-2.2.0.tar.gz 
tar -zxvf scapy-2.2.0.tar.gz 

cd scapy-2.2.0 

python setup.py install 


=E E HE b db db HR 


3.3.1] ”模块 常用 方法 说 明 


scapy 模 块 提 供 了 众多 网 络 数据 包 操作 的 方法 ， 包 括 发 包 send () 、SYNNACK 扫 摘 、 嗅 探 sniff () 、 抓 包 wrpcap () 、TCP 路 由 跟踪 traceroute () 等 ， 本 节 主 要 关注 服务 监控 内 容 接 下 来 详细 介绍 
traceroute () 方法 ， 其 具体 定义 如 下 : 


traceroute (target, dport=80, minttl=1, maxttl=30, sport=<RandShort>, l4zNone, filterzNone, timeout=2, verbose=None, **kargs) 
该 方法 实现 TCP 跟 踪 路 由 功能 ,关键 参数 说 明 如 下 : 

target: 跟踪 的 目标 对 象 ， 可 以 是 域名 或 IP， 类 型 为 列表 ， 支 持 同时 指定 多 个 目标 ， 如 [www.qq.com"，"www.baidu.com"，"www.google.com.hk"]; 

“ dport: 目标 端口 ， 类 型 为 列表 ， 支 持 同时 指定 多 个 端口 ， 如 [80，443]; 

- minttl: 指定 路 由 跟踪 的 最 小 跳 数 ( 节 点 数 ) ; 


- maxttl: 指定 路 由 跟踪 的 最 大 跳 数 (节点 数 ) 。 


3.3.2 实践: 实现 TCP 探 测 目标 服务 路 由 轨迹 


在 此 次 实践 中 ， 通 过 scapy 的 traceroute () 方法 实现 探测 机 到 目标 服务 器 的 路 由 轨迹 ， 整 个 过 程 的 原理 见 图 3-14， 首 先 通过 探测 机 以 SYN 方 式 进 行 TCP 服 务 扫描 ， 同 时 启动 ttpdump 进 行 抓 包 ， 捕 获 
扫描 过 程 经 过 的 所 有 路 由 点 ， 再 通过 graph () 方法 进行 路 由 IP 轨 迹 绘制 ， 中 间 调 用 ASN 映 射 查询 iP 地理 信息 并 生成 svg 流 程 文档 ， 最 后 使 用 lImageMagick 工 具 将 svg 格 式 转 换 成 png， 流 程 结束 。 
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图 3-14 ”TCP 探测 目标 服务 路 由 轨迹 原理 图 


本 次 实践 通过 traceroute () 方法 实现 路 由 的 跟踪 ， 跟 踪 结果 动态 生成 图 片 格式 。 功 能 实现 源码 如 下 : 


[/home/test/scapy/simple1.py] 


# =+ coding: Gabt-b e 
j j ubprocess 


S, Sys, time, sS 
warnings, loggin 
filt 


i to 
import g 
warnings. erwarnings ("ignore", category=DeprecationWarning) # 屏 蔽 scapy 无 用 告警 信息 
logging.getLogger ("scapy.runtime") .setLevel (logging.ERROR) # 屏 蔽 模块 TPv6 多 余 告 警 
from scapy.all import traceroute 
domains = raw input ('Please input one or more IP/domain: ') # 接 受 输入 的 域名 或 IP 
target = domains.split (' ') 
dport = [80] # 扫 描 的 端口 列表 
if len (target) >= 1 and target[0]! -'': 

es, unans = out arget, dport-dport, retry--2) #JA3)iK HIREK 

res.graph (target="> test.svg") # 生 成 svg 矢量 图 形 

time.sleep (1) 

subprocess.Popen ("/usr/bin/convert test.svg test.png", shell-True) #svg 转 png 格 式 


else: 
print "IP/domain number of errors, exit" 


代码 运行 结果 见 图 3-15，“-” 表 示 路 由 节点 无 回应 或 超时 ; “11” 表 示 扫 描 的 指定 服务 无 回应 ; “SA” 表 示 扫 描 的 指定 服务 有 回应 ， 一 般 是 最 后 一 个 主机 |P。 


Received /3 packets, got 39 answers, remaining z1 packets 
115.108.738.1271:tcps8 180.90.12.11:tcpse 
197.108.1.1 ll 197.108.1.1 11 
114.116.64.1 11 114.116.604.1 11 
19.115.209.70 11 19.15. 209.20 l1 
19. 1.12.74 11 10.145.280.75 11 
19.14.10.00 11 19.14.18.06 11 
19.144.10.200 11 19.144.19.200 11 
19.144.12.153 11 19.144.12.153 11 
18.83.64.1 11 18.83.64.1 11 

11 109.252.233.1 11 10.232. 233.1 11 
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图 3-15 ”代码 运行 结果 
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CHINANET jiangsu province backbone, CN" 意思 为 该 |P 所 处 中 国电 信 江 苏 省 骨干 网 。 
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图 3-16 ”路 由 轨迹 图 


通过 路 由 轨迹 图 ， 我 们 可 以 非常 清晰 地 看 到 探测 点 到 目标 节点 的 路 由 走向 ， 运 营 商 时 常会 做 路 由 节点 分 流 ， 不 排除 会 造成 选择 的 路 由 线路 不 是 最 优 的 ， 该 视图 可 以 帮助 我 们 了 解 到 这 个 信息 。 另 外 IE8 以 
上 及 chrome 浏 览 器 都 已 支持 SVG 格式 文件 ， 可 以 直接 浏览 ， 无 需 转换 成 png 或 其 他 格式 ， 可 以 轻松 整合 到 我 们 的 运营 平台 当中 。 


人 参考 提示 3.3.1 节 scapy 方 法 参数 说 明 参 考 http://www.secdev.org/ptrojects/scapy/doc/usage.html。 


第 4 章 Python 与 系统 安全 


信息 安全 是 运 维 的 根本 ， 直 接 关 系 到 企业 的 安危 ， 稍 有 不 愤 会 造成 灾难 性 的 后 果 。 比 如 近年 发 生 的 多 个 知名 网 站 会 员 数 据 库 外 泄 事件 ， 另 外 ， 国 内 知名 漏洞 报告 平台 乌云 也 频频 爆 出 各 大 门户 的 安全 漏 
洞 。 因 此 ， 信 息 安全 体系 建设 已 经 被 提 到 了 前 所 未 有 的 高 度 。 如 何 提升 企业 的 安全 防范 水 准 是 目前 普遍 面临 的 问题 ， 大 体 上 主要 分 以 下 几 个 方面 ， 包 括 安全 设备 防护 、 提 高 人 员 安全 意识 、 实 施 系统 平台 安 
全 加 固 、 安 全 规范 融合 到 ITIL 体 系 、 关 注 最 新 安全 发 展 动向 等 ， 通 过 上 述 几 个 方面 可 以 在 很 大 程度 上 避免 出 现 安全 事故 。 ed nnn 包括 构建 集中 式 的 病 
毒 扫描 机 制 、 端 口 安全 扫描 、 安 全 密码 生成 等 。 


4.1 构建 集中 陈 的 病毒 扫 摘 机 制 


Clam AntiVirus (ClamAV) 是 一 款 免费 而 且 开 放 源 代码 的 防毒 软件 ， 软 件 与 病毒 库 的 更 新 皆 由 社区 免费 太 布 ， 官 网 地 址 : http://www.clamav.net/lang/en/。 目 前 ClamAV 主 要 为 Linux、Unix 系 统 
提供 病毒 扫描 、 查 杀 等 服务 。pyClamad (http://xael.org/norman/python/pyclamd/) 是 一 个 Python 第 三 方 模块 ， 可 让 Python 直接 使 用 ClamAV 病 毒 扫描 守护 进程 camd， 来 实现 一 个 高 效 的 病毒 检测 
功能 ， 另 外 ，pyClamad 模 块 也 非常 容易 整合 到 我 们 已 有 的 平台 当中 。 下 面 详细 进行 说 明 。 


pyClamad 模 块 的 安装 方法 如 下 : 


# 1、 客 户 端 (病毒 扫描 源 ) 安装 步骤 

# yum install -y clamav clamd clamav-update # 安 装 clamavp 相 关 程 序 包 
# chkconfig --levels 235 clamd on # 添 加 扫描 守护 进程 clamgd 系 统 服 务 

# /usr/bin/freshclam # 更 新 病毒 库 ， 建议 配置 到 crontab 中 定期 更 新 
# setenforce 0 # 关 闭 SELinux， 避 免 远程 扫描 时 提示 无 权限 的 问题 


更 新 守护 进程 监听 ] 
sed -i -e '/^TCPAddr/| s/127.0.0.1/0.0.0.0/; 
/etc/init 
2、 主 控 端 
wget hti 
tar -zxvf py 


t.d/cl 


IH 


Cj] 


lamd start 


=E HE HE Hb dE db db dE 


cd pyClamd-0.3.4 
python setup.py install 


# 启 动 


日 动 扫 


守护 进程 


部 署 pyClamad 环 境 步 又 


} Y 


[P 配 置 文件 ， 根 据 不 同 环境 自行 修改 监听 的 ITP，Y0.0.0.0“ 为 监听 所 有 主机 IP 


/etc/clamd.conf 


tp: //xael.org/norman/python/pyclamd/pyClamd-0.3.4.tar.gz 
amd-0.3.4.tar.gz 


4.1.1 


pyClamad 提 供 了 两 个 关键 类 ， 一 个 为 ClamdNetworkSocket () 类 ， 实 现 使 用 网 络 套 接 字 操作 clamd; 


模块 常用 万 法 说 明 


全 一 样 ， 本 节 以 ClamdNetworkSocket () 类 进行 说 明 。 


nit (self, host-'127.0.0.1', 


中 的 TCPSocket 参 数 要 保持 一 致 ; 


: contscan file (self, file) 方法 ， 实 现 扫描 指定 的 文件 或 目录 ， 在 扫描 时 发 生 错 误 或 发 现 病毒 将 不 终止 ， 


port- 


3310, 


timeout 为 连接 的 超时 时 间 。 


timeout-None) 方法 ， 是 ClamdNetwotkSocket 类 的 初始 化 方法 ， 参 数 host 为 连接 主机 IP; 参数 pott 为 连接 的 端口 


另 一 个 为 ClamdUnixSocket () 类 ， 实 现 使 用 Unix 套 接 字 类 操作 clamd。 两 个 类 定义 的 方法 完 
与 /etc/clamd.conf 配 置 文件 


， 默 认为 3310， 


参数 fle (stting 类 型 ) 为 指定 的 文件 或 目录 的 绝对 路 径 。 


: multiscan file (self, file) 方法 ， 实 现 多 线程 扫描 指定 的 文件 或 目录 ， 多 核 环 境 速度 更 快 ， 在 扫描 时 发 生 错误 或 发 现 病毒 将 不 终止 ， 参 数 fle (stting 类 型 ) 为 指定 的 文件 或 目录 的 绝对 路 径 。 


.scan_file (self, file) 方法 ， 实 现 扫 描 指 定 的 文件 或 目录 ， 在 扫描 时 发 生 错 误 或 发 现 病毒 将 终止 ， 


: shutdown (self) 方法 ， 实 现 强 制 关 闭 clamd 进 程 并 退出 。 


stats (self) 方法 ， 


: reload (self) 方法 ， 


: EICAR (self) 方法 ， 返 回 EICAR 测 试 字符 串 ， 


4.1.2 实践: 实现 


本 次 实践 实现 了 一 个 


集中 式 的 病毒 扫 摘 


听 3310 端 口 ) ， 管 理 服务 器 启用 多 线程 对 指 


E EERRSS zS 


本 次 实 


践 通 


获取 Clamscan 的 当前 状态 。 


[/home/test/pyClamad/simple1.py] 


#! /usr/bin/env python 
4 -*- coding: 


impor! 
impor! 
From 


t time 
t pyclamd 


ubf-8 -*- 


class Scan (Thread) : 


def 


init 


(self, 


threading import Thread 


IP, scan type; 


mm 构造 万 法 ， 参 数 初始 化 "nn 


Thread. 


| init L 


P 


ile 


r.conns 


tr-2"" 


try: 


run 方 法 


(self) 
type=scan type 
f .scanresult="" 


f run (self): 


""" 多 进程 


file): 


(启动 多 线程 ) 


集中 式 的 病毒 扫描 管理 ， 可 以 针对 不 同业 务 环境 定制 扫描 策略 ， 比 如 扫描 对 象 、 
定 的 服务 集群 进行 扫描 ， 扫 描 模式 、 扫 描 路 径 


131873 x 
HBR: /data/www 


iXClamdNetworkSocket () 方法 实现 与 业务 服务 器 建立 扫描 socket 连 接 ， 再 通 


参数 fle (stting 类 型 ) 为 指定 的 文件 或 目录 的 绝对 路 径 。 


强制 重 载 clamd 病 毒 特征 库 ， 扫 描 前 建议 做 teload 操 作 。 


即 生成 具有 病毒 特征 的 字符 囊 ， 便 于 测试 。 


首先 业务 服务 器 开启 clamd 服 务 ( 监 


网 的 架构 见 图 4-1， 


扫描 路径、 调度 频率 等 。 示 例 实 
芭 回 扫 拉 结果 给 管理 服务 器 端 。 


描述 模式 、 
会 传递 到 clamd， 最 后 返 


multiscan file 


业务 服务 器 集 器 (clamd:3310) 
图 4-1 集群 病毒 扫描 架构 图 


过 启动 不 同 扫描 方式 实施 病毒 扫描 并 返回 结果 。 实 现代 码 如 下 : 


cd = pyclamd.ClamdNetworkSocket (self.IP, 3310) # 创 建 网 络 套 接 字 连接 对 象 
if cd.ping () s # 探 测 连通 性 
self.connstr-self.IP-" connection [OK]" 
cd.reload O # 重 载 clamq 病 毒 特征 库 ， 建 议 更 新 病毒 库 后 做 *eload O 操作 
if self.scan type--"contscan file": # 选 择 不 同 的 扫描 模式 
self.scanresult="{0}\n".format (cd.contscan file (self.file) ) 
elif self.scan | type--"multiscan file": 
self.scanresult-"(0)Wn".format (cd.multiscan file (self.file) ) 
elif self.scan type--"scan file": 
self.scanresult-"(0)Nn".format (cd.scan file (self.file) ) 
time.sleep (1) # 线 程 挂 起 1 秒 n 
else: 
self.connstr-self.IP-*" ping error, exit" 


return 


Exception, e: 


self.connstr-self.IP-" "+str (e) 


IPs-['192.168.1.21', '192.168.1.22'] # 扫 描 主 机 列表 
scantype="multiscan file" # 指 写 扫 描 模 式 ， 支 持 multiscan file、contscan file、scan file 
scanfile-"/data/www" # 指 定 扫描 路 径 i i » 
i-1 
threadnum-2 # 指 定 启动 的 线程 数 
scanlist = [] # 存 储 扫描 Scan 类 线程 对 象 列表 
for ip in IPs: 
currp = Scan (ip, scantype, scanfile) # 创 建 扫描 Scan 类 对 象 ， 参 数 〈IP， 扫 描 模式 ， 扫 描 路 径 
scanlist.append (currp) # 追 加 对 和 象 到 列表 
if isthreadnum==0 or i==len (IPs): # 当 达到 指定 的 线程 数 或 TP 列表 数 后 启动 、 退 出 线程 


for task in scanlist: 
task.start () # 启 动 线程 

for task in scanlist: 

task.join O # 等 待 所 有 子 线程 退出 ， 并 输出 扫描 结 末 

print task.connstr 村 J 印 服务 器 连接 信和 局 A. 

print task.scanresult # 打 印 扫描 结果 
scanlist = [] 

i+=1 


通过 EICAR () 方法 生成 一 个 带 有 病毒 特征 的 文件 /tmp/EICAR， 代 码 如 下 : 


void = open ('/tmp/EICAR', 'w') .Write (cd.EICAR () ) 


生成 带 有 病毒 特征 的 字符 串 内 容 如 下 ， 复 制 文件 /tmp/EICAR 到 目标 主机 的 扫描 目录 当中 ， 以 便 进行 测试 。 


#cat /tmp/EICAR 
u'X50! PS@AP[4\\PZX54 (P^) 7CC) 7)SEICAR-STANDARD-ANTIVIRUS-TEST-FILE! SH+H*' 


最 后 ， 启 动 扫描 程序 ， 在 本 次 实践 过 程 中 启用 两 个 线程 ， 可 以 根据 目标 主机 数量 随意 修改 ， 代 码 运行 结果 如 图 4-2， 其 中 192.168.1.21 主 机 没有 发 现 病 毒 ，192.168.1.22 主 机 发 现 了 病毒 测试 文件 
EICAR, 


[roote5N2013-08-029 pyClamad]? python simplel.py 
192.168.1.?21 connection [OK] 
None 


192.168.1.22 connection [OK] 
lu'/Zdata/www/Lwebadmin/EICAR': (C'FOUND', 'Eicar-Test-Signature' J} 


图 4-2 ”集中 式 病毒 扫描 程序 运行 结果 


Qs 提示 4.1.1 58 pyClamad 3e Zr 1-368] 5-2 http:/ /xael.org/norman/python/pyclamd/pyclamd.html ; 


4.2 ”实现 高 效 的 端口 扫描 器 


如 今 互 联网 安全 形势 日 趋 严 峻 ， 给 系统 管理 员 带 来 很 大 的 挑战 ， 网 络 的 开放 性 以 及 黑客 的 攻击 是 造成 网 络 不 安全 的 主因 。 稍 有 琉 忽 将 给 黑客 带 来 可 乘 之 机 ， 给 企业 带 来 无 法 弥补 的 损失 。 比 如 由 于 系统 
管理 员 误 操作 ， 导 致 核心 业务 服务 器 的 22、21、3389、3306 等 高 危 端 口 暴 露 在 互联 网 上 ， 大 大 提高 了 被 入 侵 的 风险 。 因 此 ， 定 制 一 种 规避 此 安全 事故 的 机 制 已 经 迫在眉睫 。 本 节 主 要 讲述 通过 Python 的 第 
三 方 模块 python-nmap 来 实现 高 效 的 端口 扫描 ， 达 到 发 现 异 常 时 可 以 在 第 一 时 间 发 现 并 处 理 ， 将 安全 风险 降 到 最 低 的 目的 。python-nmap 模 块 作 为 nmap 命 令 的 Python 封装 ， 可 以 让 Python 很 方便 地 操作 
nmap 扫 描 器 ， 它 可 以 帮助 管理 员 完 成 自动 扫描 任务 和 生成 报告 


python-nmap 模 块 的 安装 方法 如 下 : 


yum -y install nmap # 安 装 nmap 工 具 
模块 源码 安装 
# wget http: //xael.org/norman/python/python-nmap/python-nmap-0.1.4.tar.gz 
4 tar -zxvf python-nmap-0.1.4.tar.gz 
# cd python-nmap-0.1.4 
# python setup.py install 


4.2.1 ”模块 第 用 方法 说 明 


本 节 介 绍 python-nmap 模 块 的 两 个 常用 类 ， 一 个 为 PortScanner () 类 ， 实 现 一 个 nmap 工 具 的 端口 扫描 功能 封装 ; 另 一 个 为 PortScannerHostDict () 类 ， 实 现存 储 与 访问 主机 的 扫描 结果 ， 下 面 介 
ZüPortScanner () 类 的 一 些 常用 方法 。 


scan (self, hosts='127.0.0.1', ports=None, arguments='-sV') 方法 ， 实 现 指定 主机 、 端 口 、nmap 命 令 行 参 数 的 扫描 。 参 数 hosts 为 字符 串 类 型 ， 表示 扫描 的 主机 地 址 ， 格 式 可 以 用 “scanme.nmap.org” 
“198.116.0-255.1-127”、 “216.163.128.20/20” 表 示 ; 参数 ports 为 字符 囊 类 型 ， 表 示 扫 描 的 端口 ， 可 以 用 “22，53，110，143-4564” 来 表示 ; 参数 arguments 为 字符 串 类 型 ， 表 示 nmap 命 令 行 参数 ， 格 式 
为 “-sU-sX-sC”， 例 如 : 


nm = nmap.PortScanner () 
nm.scan ('192.168.1.21-22', '22, 80") 


: command line (self) 方法 ， 返 回 的 扫描 方法 映射 到 具体 nmap 命 令 行 ， 如 : 


>>> nm.command line () 
u'nmap -oX - -p 22, 80 -sV 192.168.1.21-22' 


-scaninfo (self) 方法 ， 返 回 nmap 扫 描 信 息 ， 格 式 为 字典 类 型 ， 如 : 


>>> nm.scaninfo () 
(u'tcp': ('services': u'22, 80', "'method': u'syn'}} 


: all hosts (self) 方法 ， 返 回 nmap 扫 描 的 主机 清单 ， 格 式 为 列表 类 型 e: 


[u'192.168.1.21', u'192.168.1.22'] 


以 下 介绍 PortScannerHostDict () 类 的 一 些 常用 方法 。 


: hostname (self) 方法 ， 返 回 打 描 对 象 的 主机 名 ， 如 : 


>>> nm['192.168.1.22'].hostname () 
u'SN2013-08-022' 


- state (self) 方法 ， 返 回 扫 描 对 象 的 状态 ， 包 括 4 种 状态 (up. down. unknown. skipped) , Jw: 


>>> nm['192.168.1.22'].state () 
u'up' 


- all protocols (self) 方法 ， 返 回 扫描 的 协议 ， 如 : 


>>> nm['192.168.1.22'].al1 protocols () 
[u'tcp'] 


: all tcp OQ (self) 方法 ， 返 回 TCP 协 议 扫 描 的 端口 ， 如 : 


>>> nm['192.168.1.22'].all tcp O 
[22, 80] 


-tcp (self, port). 方法 ， 返 回 扫 描 TCP 协 议 pott (端口 ) 的 信息 ， 如 : 


>>> nm['192.168.1.22'].tcp (22) 


('state': u'open', 'reason': u'syn-ack', 'name': u'ssh'} 
4.2.2. XR: 实现 高 效 的 端口 扫描 


本 次 实践 通过 python-nmap 实 现 一 个 高 效 的 端口 扫描 工具 ， 与 定时 作业 crontab 及 邮件 告警 结合 ， 可 以 很 好 地 帮助 我 们 及 时 发 现 异常 开放 的 高 危 端 口 。 当 然 ， 该 工具 也 可 以 作为 业务 服务 端口 的 可 用 性 
探测 ， 例 如 扫描 192.168.1.20-25 网 段 Web 服 务 端口 80 是 否 处 于 open 状 态 。 实 践 所 采用 的 scan () 方法 的 arguments 参 数 指 定 为 “-v-PE-p'+ 端 口 ”，-v 表 示 启 用 细节 模式 ， 可 以 返回 非 up 状态 主机 清单 ; - 
PE 表示 采用 TCP 同 步 扫 描 (TCP SYN) 方式 ; -p 指 定 扫描 端口 范围 。 程 序 输出 部 分 采用 了 三 个 for 循 环 体 ， 第 一 层 遍 历 扫 摘 主 机 ， 第 二 层 为 遍历 协议 ， 第 三 层 为 遍历 端口 ， 最 后 输出 主机 状态 。 有 具体 实现 代 
码 如 下 : 


[/home/test/python-nmap/simple1.py] 


#! /usr/bin/env python 
f -*- coding: utf-8 -*- 
import sys 

import nmap 


scan row-[] 
input data = raw input ('Please input hosts and port: ') 
scan row = input data.split (" ") 
if len (scan row) ! =2: 
print "Input errors, example V'"192.168.1.0/24 80, 443, 22N"" 


sys.exit (0) 
hosts-scan row[0] # 接 收 用 户 输入 的 主机 


port-scan row[1] # 接 收 用 户 输入 的 端口 
try: 
nm = nmap.PortScanner () # 创 建 端口 扫描 对 象 
except nmap.PortScannerError: 
print ('Nmap not found', sys.exc info O [0]) 
sys.exit (0) 
except: 
print ("Unexpected error: ", sys.exc info () [0]) 
sys.exit (0) 
try: 
# 调 用 扫描 方法 ， 参 数 指定 扫描 主机 hosts，nmap 扫 描 命令 行 参数 arguments 


nm.scan (hosts-hosts, arguments=' -v -SS -p '+port) 
except Exception, e: 


print "Scan erro: "*str (e) 
for host in nm.all hosts () : PEH 3E DL 
print ('----------------------------------2---2-----2---------- ') 
print ('Host : $s ($s) ' $ (host, nm[host].hostname () ) ) # 输 出 主机 及 主机 名 
print ('State :  $s' $ nm[host].state ©) ) # 输 出 主机 状态 ， 如 up、down 
for proto in nm[host].all protocols O : PEHARI, "tcp. udp 
print ('------- ===") 
print ('Protocol : $s' % proto) # 输 入 协议 名 
lport = nm[host] [proto] .kevs © # 获 取 协 议 的 所 有 扫描 端口 
lport.sort () # 站 口 列表 排序 
for port in lport: # 遍 历 端 口 及 输出 端口 与 状态 
print ('port : %s\tstate : %s' $ (port, nm[host] [proto] [port] ['state']) ) 


其 中 主机 输入 支持 所 有 表达 方式 ， 如 www.qq.com、192.168.1.*、192.168.1.1-20、192.168.1.0/24 等 ， 端 口 输入 格式 也 非常 灵活 ， 如 80，443，22、80，22-443。 代 码 运 行 结果 如 图 4-3 所 示 。 


[root83N/015-08-970 python-nmap |# python simplel.py 
Please bi hosts and port: 192.1608.1.1-20 80,22,443 


Host : 192.168.1.1 (5 
State : up 


Protocol : tcp 


: open 


port - 77 state - closed 


Host : 197.168.1.11 () 
State : down 


图 4-3 ”指定 IP 段 与 端口 的 扫描 结果 
@s 考 提示 4.2.1 节 Python-nma p 模 块 方法 与 参数 说 明 参 考 http://xael.org/norman/python/python-nmap/。 示 例 源码 参考 官方 源码 包 中 的 example.py。 
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第 6 章 系统 批量 运 维 管 理 器 paramiko 详 解 
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pexpect 可 以 理解 成 Linux 下 的 expect 的 Python 封装 ， 通 过 pexpect 我 们 可 以 实现 对 ssh、ftp、passwd、telnet 等 命令 行进 行 自动 交互 ， 而 无 需 人 工 干涉 来 达到 自动 化 的 目的 。 比 如 我 们 可 以 模拟 一 个 
FTP 登 录 时 的 所 有 交互 ， 包 括 输入 主机 地 址 、 用 户 名 、 密 码 、 上 传 文件 等 ， 待 出 现 异 党 我 们 还 可 以 进行 党 试 自动 处 理 。pexpect 的 官网 地 址 : http://pexpect.readthedocs.org/en/latest/， 目 前 最 高 版 本 为 
3.0。 


5.1 ”pexpect 的 安装 


pexpect 作 为 Python 的 一 个 普通 模块 ， 支 持 pip、easy_instal| 或 源码 安装 方式 ， 具 体 安装 命令 如 下 (根据 用 户 环境 ， 自 行 选择 pip 或 easy_install) : 


pip install pexpect 
easy install pexpect 


关于 源码 安装 ， 笔 者 采用 了 GitHub 平 台 的 项 目 托管 源 ， 安 装 步骤 如 下 : 


#wget https: //github.com/pexpect/pexpect/releases/download/3.0/pexpect-3.0.tar.gz -O pexpect-3.0.tar.gz 
#tar -zxvf pexpect-3.0.tar.gz 

fcd pexpect-3.0 

fpython setup.py install 


校 验 安 装 结果 ， 导 入 模块 没有 提示 异常 则 说 明 安 装 成 功 : 


4 python 
Python 2.6.6 (r266: 84292, Jul 10 2013, 22: 48: 45) 
[GCC 4.4.7 20120313 (Red Hat 4.4.7-3) ] on linux2 


Type "help", "copyright", "credits" or "license" for more information. 
>>> import pexpect 
>>> 


一 个 简单 实现 SSH 自 动 登录 的 示例 如 下 : 


import pexpect 

child = pexpect.spawn ('scp foo user@example.com: .') #spawn 启 动 scp 程 序 

child.expect ('Password: ') #expect 方 法 等 待 子 程序 产生 的 输出 ， 判 断 是 否 匹 配 定义 的 字符 串 
f'Password: ' 

child.sendline (mypassword) # 匹 配 后 则 发 送 密码 串 进 行 回应 


Iz] 


5.2 ”pexpect 的 核心 组 件 
下 面 介绍 pexpect 的 几 个 核心 组 件 包 括 spawn 类 、run 水 数 及 派生 类 pxssh 等 的 定义 及 使 用 方法 。 
5.2.1 spawn 类 


spawn 是 pexpect 的 主要 类 接口 ， 功 能 是 启动 和 控制 子 应 用 程序 ， 以 下 是 它 的 构造 函数 定义 : 


class pexpect.spawn (command, args=[], timeout-30, maxread-2000, searchwindowsize-None, logfile=None, cwd=None, env=None, ignore sighup-True) 


其 中 command 参 数 可 以 是 任意 已 知 的 系统 命令 ， 比 如 : 


child = pexpect.spawn ('/usr/bin/ftp') # 启 动 ftp 客 户 端 命令 
child = pexpect.spawn ('/usr/bin/ssh userlexample.com') # 启 动 ssh 远 程 连接 命令 
child = pexpect.spawn ('ls -latr /tmp') # 运 行 ]s 显 示 /tmp 目 录 内 容 命 令 


当 子 程序 需要 参数 时 ， 还 可 以 使 用 Python 列 表 来 代替 参数 项 ， 如 : 


child = pexpect.spawn ('/usr/bin/ftp', []) 
child = pexpect.spawn ('/usr/bin/ssh', ['userGexample.com']) 
child = pexpect.spawn ('ls', ['-latr', '/tmp']) 


参数 timeout 为 等 待 结果 的 超时 时 间 ; 参数 maxread 为 pexpect 从 终端 控制 侣 一 次 读 取 的 最 大 字 节 数 ，searchwindowsize 人 参数 为 匹配 缓冲 区 字符 串 的 位 置 ， 默 认 是 从 开始 位 置 匹 配 。 


需要 注意 的 是 ，pexpect 不 会 解析 shell 命 令 当 中 的 元 字符 ， 包 括 重 定向 “>”、 管 道 “|” 或 通配符 “*“” ， 当 然 ， 我 们 可 以 通过 一 个 技巧 来 解决 这 个 问题 ， 将 存在 这 三 个 特殊 元 字符 的 命令 作 
为 /bin/bash 的 参数 进行 调用 ， 例 如 : 


child = pexpect.spawn ('/bin/bash -c "ls -1 | grep LOG > logs.txt"') 
child.expect (pexpect .EOF) 


我 们 可 以 通过 将 命令 的 参数 以 Python 列 表 的 形式 进行 替换 ， 从 而 使 我 们 的 语法 变 成 更 加 清晰 ， 下 面 的 代码 等 价 于 上 面 的 。 


shell cmd = 'ls -1 | grep LOG > logs.txt' 
child = pexpect.spawn ('/bin/bash', ['-c', shell cmd]) 
child.expect (pexpect .EOF) 


有 时候 调试 代码 时 ， 希 望 获取 pexpect 的 输入 与 输出 信息 ， 以 便 了 解 匹 配 的 情况 。pexpect 提 供 了 两 种 途径 ,一 种 为 写 到 日 志文 件 ， 另 一 种 为 输出 到 标准 输出 。 写 到 日 志文 件 的 实现 方法 如 下 : 


child = pexpect.spawn ('some command') 
fout = file ('mylog.txt', 'w') 
child.logfile = fout 


输出 到 标准 输出 的 方法 如 下 : 


child = pexpect.spawn ('some command') 
child.logfile = sys.stdout 


下 面 为 一 个 完整 的 示例 ， 实 现 远 程 SSH 登 录 ， 登 录 成 功 后 显示 /home 目 录 文 件 清 单 ， 并 通过 日 志文 件 记录 所 有 的 输入 与 输出 。 


import pexpect 


import sys 

child = pexpect.spawn ('ssh root8192.168.1.21') 
fout = file ('mylog.txt', 'w') 

child.logfile = fout 


fchild.logfile = sys.stdout 
child.expect ("password: ") 
child.sendline ("U3497DT32t") 
child.expect ('4') 
d 
d 


child.sendline ('ls /home') 
child.expect ('#') 


以 下 为 mylog.txt 日 志 内 容 ， 可 以 看 到 pexpect 产 生 的 全 部 输入 与 输出 信息 。 


f cat mylog .txt 

root@192.168.1.21's password: U3497DT32t 
t login: Tue Jan 7 23: 05: 30 2014 from 192.168.1.20 

[root80SN2013-08-021 ~]# ls /home 


ls /home 

CC.py poster-0.8.1 tarfile.tar.gz  zipfile.zip 
default.tar.gz  poster-0.8.1.tar.gz test.sh 

dev pypa-setuptools-c508be8585ab  zipfilel.zip 


(1) expect 方 法 
expect 定 义 了 一 个 子 程序 输出 的 匹配 规则 。 
方法 定义 : expect (pattern, timeout--1, searchwindowsize--1) 


其 中 ， 参 数 pattern 表 示 字 符 串 、pexpect.EOF (指向 缓冲 区 尾部 ， 无 匹配 项 ) . pexpectTIMEOUT (匹配 等 待 超时 ) 、 正 则 表达 式 或 者 前 面 四 种 类 型 组 成 的 列表 (List) ， 当 pattern 为 一 个 列表 时 ， 
且 不 止 一 个 表 列 元 素 被 匹配 ， 则 返回 的 结果 是 子 程序 输出 最 先 出 现 的 那个 元 素 ， 或 者 是 列表 最 左边 的 元 素 (最 小 索引 ID) ， 如 : 


import pexpect 
child = pexpect.spawn ("echo 'foobar'") 
print child.expect (['bar', 'foo', ''foobar']) 


输出 : 1， 即 'foo' 被 匹配 


参数 timeout 指 定 等 待 匹配 结果 的 超时 时 间 ， 单 位 为 秒 。 当 超时 被 触发 时 ，expect 将 匹配 到 pexpect.TIMEOUT; 参数 searchwindowsize 为 匹配 缓冲 区 字符 串 的 位 置 ， 默 认 是 从 开始 位 置 匹配 。 


当 pexpect.EOF、pexpect.TIMEOUT 作 为 expect 的 列表 参数 时 ， 匹 配 时 将 返回 所 处 列表 中 的 索引 ID， 例 如 : 


index = p.expect (['good', 'bad', pexpect.EOF, pexpect.TIMEOUT]) 
if index == 0: 
do something () 
elif index == 1: 
do something else () 
elif index == 2: 
do some other thing O 
elif index == 3: 
do something completely different () 


以 上 代码 等 价 于 


try: 
index = p.expect (['good',  'bad']) 
if index == 

do omerning O 


人 
3 
Q. 
(D 
x 
ll 
ll 


do something else O 
except EOF: 
do some other thing O 
except TIMEOUT: 
do something completely different () 


expect 方 法 有 两 个 非常 棒 的 成 员 : before 与 after。before 成 员 保存 了 最 近 匹 配 成 功 之 前 的 内 容 ，after 成 员 保存 了 最 近 匹 配 成 功 之 后 的 内 容 。 例 如 : 


import pexpect 
import sys 

child = pexpect.spawn C ssh root8192.168.1.21') 
fout = file ( 'mylog.txt', 'w ') 

child.logfile = fout 
child.expect (["password: "]) 
child.sendline ("980405") 


prin "before: "*child.before 
print "after: "+child.after 
结果 如 下 : 


before: root@192.168.1.21's 
after: password: 


(2) read 相 关 方 法 


下 面 这 些 输入 方法 的 作用 都 是 向 子 程序 发 送 响应 命令 ， 可 以 理解 成 代替 了 我 们 的 标准 输入 键盘 。 


send (self, s) 发 送 命令 ,不 回 车 

sendline (self, s='') 发 送 命令 ， 回 车 

sendcontrol (self, char) 发 送 控制 字符 ， 如 child.sendcontrol ('c'O 等 价 于 “ctrl+c” 
sendeof O ”发送 eof 


5.2.2 run 国 数 


run 是 使 用 pexpect 进 行 封 装 的 调用 外 部 命令 的 函数 ， 类 似 于 os.system 或 os.popen 方 法 ， 不 同 的 是 ， 使 用 run () 可 以 同时 获得 命令 的 输出 结果 及 命令 的 退出 状态 ， 函 数 定义 : 


pexpect.run (Command，timeout=-1，withexitstatus=False，events=None，extra args=None，logfile=None，cwd=None，env=None) 。 


参数 command 可 以 是 系统 已 知 的 任意 命令 ， 如 没有 写 绝对 路 径 时 将 会 党 试 搜索 命令 的 路 径 ，events 是 一 个 字典 ， 定 义 了 expect 及 sendline 方 法 的 对 应 关系 ，spawn 方 式 的 例子 如 下 : 


from pexpect import * 

child = spawn ('scp foo user(üexample.com: .') 
child.expect (' (? i) password') 
child.sendline (mypassword) 


使 用 run 函 数 实现 如 下 ， 是 不 是 更 加 简洁 、 精 炼 了 ? 


from pexpect import * 
run C'scp foo user(üexample.com: .', events-(' (? i) password': mypassword)) 


5.2.3 ”pxssh 类 


pxssh 是 pexpect 的 派生 类 ， 针 对 在 ssh 会 话 操作 上 再 做 一 层 封装 ， 提 供与 基 类 更 加 直接 的 操作 方法 。 


pxssh 类 定义 : 


class pexpect.pxssh.pxssh (timeout=30, maxread=2000, searchwindowsize=None, logfile=None, cwd=None, env=None) 


pxssh 常 用 的 三 个 方法 如 下 : 
: login () 建立 ssh 连 接 ; 
: logout () 断 开 连接 ，; 
-prompt () 等 待 系统 提示 符 ， 用 于 等 待命 令 执行 结束 。 


下 面 使 用 pxssh 类 实现 一 个 ssh 连 接 远程 主机 并 执行 命令 的 示例 。 首 先 使 用 login() 方法 与 远程 主机 建立 连接 ， 再 通过 sendline () 方法 发 送 执行 的 命令 ，prompt () 方法 等 待命 令 执行 结束 且 出 现 系 
统 提示 符 ， 最 后 使 用 logout () 方法 断 开 连接 。 


[/home/test/pexpect/simple1.py] 


import pxssh 

import getpass 

try: 
S — pxssh.pxssh O # 创 建 pxssh 对 象 s 
hostname = raw input ('hostname:  ') 
username = raw input ('username: ') 


) # 接 收 密码 输入 


password = getpass.getpass ('please input password: 


s.login (hostname, username, password) # 建 立 ssh 连 接 
s.sendline ('uptime') 4 运行 uptime 命 令 

s.prompt () # 匹配 系统 提示 符 

print s.before # 打印 出 现 系统 提示 符 前 的 命令 输出 
s.sendline ('l1s -1') 

s.prompt () 

print s.before 

s.sendline ('df') 

s.prompt () 

print s.before 


s.logout O  tHDFssméB& 

except pxssh.ExceptionPxssh,. e: 
print "pxssh failed on login." 
print str (e) 


5.3 “pexpect 应 用 示例 
下 面 介 绍 两 个 通过 pexpect 实 现 自动 化 操作 的 示例 ， 其 中 一 个 实现 FTP 协 议 的 自动 交互 ， 另 一 个 为 SSH 协 议 自 动 化 操作 ， 这 些 都 是 日 常 运 维 中 经 常 遇 到 的 场景 。 


5.3.1 ”实现 一 个 自动 化 FTP 操 作 


我 们 常用 FTP 协 议 实现 自动 化 、 集 中 式 的 文件 备份 ， 要 求 做 到 账号 登录 、 文 件 上 传 与 下 载 、 退 出 等 实现 自动 化 操作 ， 本 示例 使 用 pexpect 模 块 的 pawnu () 方法 执行 FTP 命 令 ， 通 过 expect () 方法 定 
义 匹 配 的 输出 规则 ，sendline () 方法 执行 相关 FTP 交 互 命令 等 ， 详 细 源 码 如 下 : 


[/home/test/pexpect/simple2.py] 


from future import unicode literals # 使 用 unicode 编 码 
import t pexpect 

import sys 

child = pexpect.spawnu ('ftp ftp.openbsd.org')  # 运 行 ftp 命 令 


child.expect (' (? i) name .*: D 4$ (? i) 表示 后 面 的 字符 串 正则 匹配 忽略 大 小 写 
child.sendline ('anonymous') 4e AX ftplik- f 
child.expect (' (? i) password') mug 
child.sendline ('pexpectésourceforge.net')  # 输 入 ftp 密 码 
child.expect ('ftp» ') 

child.sendline ('bin'O  # 启 用 二 进 制 传输 模式 
child.expect ('ftp» ') 

child.sendline ('get robots.txt')  # 下 载 robots .txt 文 件 
child.expect ('ftp» ') 

sys.stdout.write (child.before)  # 输 出 匹配 \ftp> “之 前 的 输入 与 输出 

print ("Escape character is '^]'.WMn") 

sys.stdout.write (child.after) 

sys.stdout.flush () 

# 调 用 interact O 让 出 控制 权 ， 用 户 可 以 继续 当前 的 会 话 手工 控制 子 程序 ， 默 认输 入 \^] "字符 跳出 
child.interact () 

child.sendline ('bye') 

child.close (2 


结果 如 下 : 


get robots.txt 

local: robots.txt remote: robots.txt 

227 Entering Passive Mode (129, 128, 5, 191, 197, 243) 

150 Opening BINARY mode data connection for 'robots.txt' (26 bytes). 
226 Transfer complete. 

26 bytes received in 3.29 secs (0.01 Kbytes/sec) 

Escape character is '^]'. 

ftp»  # 调 用 interact O 控制 项 让 出 ， 用 户 可 以 手工 进行 交互 


i, 


5.3.2. ”远程 文件 自动 打包 并 下 载 


在 Linux 系 统 集群 运营 当中 ， 时 常 需要 批量 远程 执行 Linux 命 令 ， 并 且 双 向 同步 文件 的 操作 。 本 示例 通过 使 用 spawn () 方法 执行 Ssh、scp 命 令 的 思路 来 实现 ， 具 体 实现 源码 如 下 : 


[/home/test/pexpect/simple3.py] 


import pexpect 

import Sys 

ip-"192.168.1.21" # 定 义 目标 主机 
user-"root" # 目 标 主机 用 户 
Passwqdq="H6DSY#*Sqdqf32" 4H EUER 


target fil e-"/data/logs/nginx . access.log" # 目 标 主 机 nginx 日 志文 件 
child = pexpect.spawn (' /asr/bin/ssh', [user+'@'+ip]) ，# 和 运行 ssh 命 令 
fout = file ('mylog.txt', 'w') # 输 入 、 输 出 日 志 写 入 mylog.txt 文 件 
child.logfile = fout 
try: 
child.expect (' (? i) password'O ，# 匹 配 passworqd 字 符 串 ，〈? i) 表示 不 区 别 大 小 写 
child.sendline (passwd) 
child.expect ('4') 
child.sendline ('tar -czf /data/nginx access.tar.gz '+target file) HTünginx 
HE 
child.expect ('4') 
print child.before 
child.sendline ('exit') 


fout.close () 

except EOF: < #EXEOFH A MEE 

print "expect EOF" 

except TIMEOUT:  . 4E X TIMEOUTA s Ab XE 
print "expect TIMEOUT" 


child = pexpect.spawn (' /usr/bin/scp' ， [usert+'@'+ip+': /data/nginx access.tar.gz', '/home']) ，# 启 动 scp 远 程 拷贝 命令 ， 实 现 将 打包 好 的 nginx 日 复制 至 本 地 /home 目 录 
fout = file (' mylog.txt', 'a ') 

child.logfile = fout 

try: 


child.expect (' (? i) password') 
child.sendline (passwd) 
child.expect (pexpect.EOF)  ”# 匹 配 缓冲 区 EOF (结尾 〉， 保 证 文件 复制 正常 完成 
except EOF: 
print "expect EOF" 
except TIMEOUT: 
print "expect TIMEOUT" 


Qs 5.2 节 和 5.3 节 常用 类 说 明 与 应 用 案例 参考 http://pexpect.readthedocs.org/en/latest/。 


第 6 章 ”系统 批量 运 维 管理 器 paramiko 详 解 


paramiko 是 基于 Python 实 现 的 SSH2 远 程 安全 连接 ， 支 持 认 证 及 密 钥 方式 。 可 以 实现 远程 命令 执行 、 文 件 传输 、 中 间 SSH 代 理 等 功能 ， 相 对 于 Pexpect， 封 装 的 层次 更 高 ， 更 贴近 SSH 协 议 的 功能 ， 官 
网 地 址 : http://www.paramiko.org， 目 前 最 高 版 本 为 1.13，。 


6.1 paramikoB zz 


paramiko 支 持 pip、easy_install 或 源码 安装 方式 ， 很 方便 解决 包 依赖 的 问题 ， 具 体 安装 命令 如 下 (根据 用 户 环境 ， 自 行 选择 pip 或 easy_install) 


pip install paramiko 
easy install paramiko 


paramiko 依 赖 第 三 方 的 Crypto、Ecdsa 包 及 Python 开 发 包 python-devel 的 支持 ， 源 码 安 装 步 又 如 下 : 


# yum -y install python-devel 

wget http: //ftp.dlitz.net/pub/dlitz/crypto/pycrypto/pycrypto-2.6.tar.gz 
tar -zxvf pycrypto-2.6.tar.gz 

cd pycrypto-2.6 

python setup.py install 
cd http: //www.hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressed/14964/OEBPS/Text/.. 
wget https: //pypi.python.org/packages/source/e/ecdsa/ecdsa-0.10.tar.gz --no-check-certificate 

tar -zxvf ecdsa-0.10.tar.gz 

cd ecdsa-0.10 
python setup.py install 
cd http: //www.hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressed/14964/OEBPS/Text/.. 
wget https: //github.com/paramiko/paramiko/archive/v1.12.2.tar.gz 

tar -zxvf v1.12.2.tar.gz 

cd paramiko-1.12.2/ 

python setup.py install 


=E HE db Hb db db db Hb dB db 2b Mb db dE 


校 验 安 装 结果 ， 导 入 模块 没有 提示 异常 则 说 明 安 装 成 功 : 


4 python 
Python 2.6.6 (r266: 84292, Jul 10 2013, 22: 48: 45) 
[GCC 4.4.7 20120313 (Red Hat 4.4.7-3) ] on linux2 


Type "help", "copyright", "credits" or "license" for more information. 
>>> import paramiko 
>>> 


下 面 介绍 一 个 简单 实现 远程 SSH 运 行 命令 的 示例 。 该 示例 使 用 密码 认证 方式 ， 通 过 exec_ command () 方法 执行 命令 ， 详 细 源 码 如 下 : 


[/home/test/paramiko/simple1.py] 


#! /usr/bin/env python 
import paramiko 
hostname-'192.168.1.21' 
username-'root' 
password-'SKJh935yftl' 
paramiko.util.log to file ('syslogin.log') # 发 送 paramiko 日 志 到 syslogin.1log 文 件 
ssh-paramiko.SSHClient O # 创 建 一 个 ssh 客 户 端 client 对 象 

ssh.load system host keys O cll eng keys, BRA -/.ssh/known hosts， 非 默认 路 
# 径 需 指定 
ssh.connect (hostname-hostname, username-username, password-password) # 创 建 ssh 连 接 
stdin, stdout, stderr-ssh.exec command ('free -m'O # 调 用 远程 执行 命令 方法 exec command O 
print stdout.read O 桂 J 印 命令 执行 结果 ， 得 到 Python 列 表 形 式 ， 可 以 使 用 stdout .reaqlines O 
ssh.close O ，# 关 闭 ssh 连 接 


程序 的 运行 结果 截图 如 图 6-1 所 示 。 


[rooteSN2013-05-070 paramiko]|£ python simplel.py 
total used free shared buffers cached 
Mem: 452 455 | e 2 50 


-二 buffers/cache: 3/1 
Swap : 1023 名 


6.2 ”paramiko 的 核心 组 件 
paramiko 包 含 两 个 核心 组 件 ， 一 个 为 SSHClient 类 ， 另 一 个 为 SFTPClient 类 ， 下 面 详 细 介 绍 。 
6.2.1 SSHClient 类 


SSHClient 类 是 SSH 服 务 会 话 的 高 级 表示 ， 该 类 封装 了 传输 (transport) 、 通 道 (channel) 及 SFTPClient 的 校 验 、 建 立 的 方法 ， 通 常用 于 执行 远程 命令 ， 下 面 是 一 个 简单 的 例子 : 


client = SSHClient O 

client.load system host keys () 

client.connect ('ssh.example.com') 

stdin, stdout, stderr = client.exec command ('ls -1') 


下 面 介绍 SSHClient 常 用 的 几 个 方法 。 
1.connect 方 法 
connect 方 法 实现 了 远程 SSH 连 接 并 校 验 。 


方法 定义 : 


connect (self, hostname, port=22, username-None, password=None, pkey=None, key filename=None, timeout=None, allow agent=True, look for keys-True, compress=False) 


参数 说 明 : 

: hostname (stt 类 型 ) ， 连 接 的 目标 主机 地 址 ; 

| port (int 类 型 ) ， 连 接 目标 主机 的 端口 ， 默 认为 22; 

` username (stt 类 型 ) ， 校 验 的 用 户 名 (默认 为 当前 的 本 地 用 户 名 ) ; 

` password (st 类 型 ) ， 密 码 用 于 身份 校 验 或 解锁 私 铀 ; 

- pkey (PKey 类 型 ) ， 私 钥 方式 用 于 身份 验证 ; 

` key filename (strorlist (str) 类 型 ) ， 一 个 文件 名 或 文件 名 的 列表 ， 用 于 私 钥 的 身份 验证 ; 
: timeout (float 类 型 ) ， 一 个 可 选 的 超时 时 间 (以 秒 为 单位 ) 的 TCP 连 接 ; 

. allow agent (bool 类 型 ) ， 设 置 为 False 时 用 于 禁用 连接 到 SSH 代 理 ; 

: look for keys (bool 类 型 ) ， 设 置 为 False 时 用 来 禁用 在 ~/.ssh 中 搜索 私 钥 文 件 ; 
: compress (bool 类 型 ) ， 设 置 为 True 时 打开 压缩 。 

2.exec command 人 方法 


远程 命令 执行 方法 ， 该 命令 的 输入 与 输出 流 为 标准 输入 (stdin) 、 输 出 (stdout) 、 错 误 (stderr) 的 Python 文件 对 象 ， 方 法 定义 : 


exec command (self, command, bufsize=-1) 


参数 说 明 : 

: command (str 类 型 ) ， 执 行 的 命令 串 ， 

* bufsize (int 类 型 ) ， 文 件 缓冲 区 大 小 ， 黑 认为 -1 (不 限制 ) 。 
3.load system host keys 方 法 


加 载 本 地 公 钥 校 验 文件 ， 默 认为 ~/.ssh/known_hosts， 非 默认 路 径 需 要 手工 指定 ,方法 定义 : 


load system host keys (self, filename=None) 


参数 说 明 : 
filename (str!) ， 指 定 远程 主机 公 钥 记录 文件 。 


4.set missing host key policy 方 法 


设置 连接 的 远程 主机 没有 本 地 主机 密 钥 或 HostKeys 对 象 时 的 策略 ， 目 前 支持 三 种 ， 分 别 是 AutoAddPolicy、RejectPolicy (默认 ) 、WarningPolicy， 仅 限 用 于 SSHClient 类 ， 分 别 代表 的 含义 如 下 : 
: AutoAddPolicy， 自 动 添 加 主机 名 及 主机 密 钥 到 本 地 HostKeys 对 象 ， 并 将 其 保存 ， 不 依赖 load_system_host_keys () 的 配置 ， 即 使 ~/.ssh/known_hosts 不 存在 也 不 产生 影响 ; 
: RejectPolicy， 自 动 拒绝 未 知 的 主机 名 和 密 钥 ， 依 赖 load_system_host_keys () 的 配置 ; 
: WarningPolicy， 用 于 记录 一 个 未 知 的 主机 密 钥 的 Python 警 告 ， 并 接受 它 ， 功 能 上 与 AutoAddPolicy 相 似 ， 但 未 知 主机 会 有 告警 。 


使 用 方法 如 下 : 


ssh-paramiko.SSHClient () 
ssh.set missing host key policy (paramiko.AutoAddPolicy © ) 


6.2.2 SFTPClientzs 


SFTPCIlient 作 为 一 个 SFTP 客 户 端 对 象 ， 根 据 SsH 传 输 协议 的 sftp 会 话 ， 实 现 远 程 文件 操作 ， 比 如 文件 上 传 、 下 载 、 权 限 、 状 态 等 操作 ， 下 面 介 绍 SFTPClient 类 的 常用 方法 。 


1.from transport 方 法 


创建 一 个 已 连通 的 SFTP 客 户 端 通道 ， 方 法 定义 : 


from transport (cls, t) 

参数 说 明 : 

t (Transport) ， 一 个 已 通过 验证 的 传输 对 象 。 
例子 说 明 : 


= paramiko.Transport ( ("192.168.1.22", 22) ) 
.connect (username-"root",  password-"KJSdj348g") 
ftp -paramiko.SFTPClient.from transport (t) 


dtd 


2.put 方 法 
上 传 本 地 文件 到 远程 SFTP 服 务 端 ， 方 法 定义 : 
put (self, localpath, remotepath, callback-None, confirm-True) 
参数 说 明 : 
:localpath (str 类 型 )， 需 上 传 的 本 地 文件 ( 源 ) ; 
: remotepath (str 类 型 ) ， 远 程 路 径 (目标 ) ; 
: callback (function (int, int) ) ， 获 取 已 接收 的 字 节 数 及 总 传输 字 节 数 ， 以 便 回 调 函 数 调用 ， 上 默认 为 None; 
: confirm (bool 类 型 ) ,文件 上 传 完毕 后 是 否 调 用 stat() 方法 ， 以 便 确认 文件 的 大 小 。 
例子 说 明 : 


localpath-' /home/access.log' 
remotepath-'/data/logs/access.log' 
sftp.put (localpath, remotepath) 


3.get 方 法 
从 远程 SFTP 服 务 端 下 载 文件 到 本 地 ， 方 法 定义 : 
get (self, remotepath, localpath, callback-None) 
参数 说 明 : 
.temotebath (str 类 型 ) ， 需 下 载 的 远程 文件 OR) ; 
:localpath 〈str 类 型 ) ， 本 地 路 径 〈 目 标 ) ; 
: callback (function (int, int) ) ， 获 取 已 接收 的 字 节 数 及 总 传输 字 节 数 ， 以 便 回 调 函 数 调 用 ， 黑 认为 None。 
例子 说 明 : 


remotepath-'/data/logs/access.log' 
localpath-'/home/access.log' 
sftp.get (remotepath,  localpath) 


4. 其 他 方法 

SFTPClient 类 其 他 常用 方法 说 明 : 

: Mkdir， 在 SFTP 服 务 器 端 创建 目录 ， 如 sftp.mkdir ("/home/userdir", 0755) 。 
.tfemove， 删 除 SFTP 服 务 器 端 指定 目录 ， 如 sftp.femove ("/home/userdit") o 


- rename ， 重 命名 SFTP 服 务 器 端 文件 或 目录 ， 如 sftp.rename ("/home/test.sh", "/home/testfile.sh") 。 


- stat， 获 取 远 程 SFIP 服 务 器 端 指 


- listditr， 获 取 远 程 SFIP 服 务 器 端 指 


5.SFTPClient 类 应 用 示例 


下 面 为 SFTPClient 类 的 一 个 完整 示例 ， 实 现 了 文件 上 传 、 下 载 、 创 建 与 删除 目录 等 ， 需 


定 文件 信息 ， 如 sftp.stat ("/home/testfile.sh") 。 


定 目录 列表 ， 以 Python 的 列表 (List) 形式 返回 ， 如 sftp.listdir ("/home") 。 


意 的 是 ，put 和 get 方 法 需要 指定 文件 名 ， 不 能 省 略 。 详 细 源 码 如 下 : 


6.32 SIR 


SSHUMX ERES, PB 


#! /usr/bin/env python 
import paramiko 


username = "root" 
password = "KJsd8t34d" 
hostname = "192.168.1.21" 
port = 22 

try: 


— paramiko.Transport ( (hostname, port) ) 
.connect (username-username,  password-password) 
ftp -paramiko.SFTPClient.from transport (t) 
ftp.put ("/home/user/info.db", "/data/user/info.db") 
ftp.get ("/data/user/info l.db", "/home/user/info l.db") 
ftp.mkdir ("/home/userdir", 0755)  s98]g Hs 
ftp.rmdir ("/home/userdir"O  # 删 除 目 录 
sftp. rename ("/home/test.sh", "/home/testfile.sh") 
print sftp.stat ("/home/testfile.sh") 持 ] 印 文件 信息 
print sftp.listdir ("/home") 持 J 印 目录 列表 
t.close O ; 
except Exception, e: 
print str (e) 


Qououuo«urtct 


6.3 paramiko 应 用 示例 


6.3.1 ”实现 密 铀 方式 登录 远程 主机 


实现 自动 密 钥 登录 方式 ， 第 一 步 需要 配置 与 目标 设备 的 密 钥 认证 支持 ， 具 体 见 9.2.5 节 ， 私 钥 文件 可 以 存放 在 默认 路 径 “~/.ssh/id_rsa”， 
paramiko.RSAKey.from private key file () 方法 引用 ,详细 代码 如 下 : 


[/home/test/paramiko/simple2.py] 


#! /usr/bin/env python 
import paramiko 
import os 
hostname-'192.168.1.21' 
username-'root' 
paramiko.util.log to file ('syslogin.log') 
ssh-paramiko.SSHClient O 

ssh.load system host keys () 

privatekey = os.path.expanduser ('/home/key/id rsa') 
key = paramiko.RSAKey.from private key file (privatekey) 
ssh.connect (hostname-hostname, username-username, pkey = key) 
stdin, stdout, stderr-ssh.exec command ('free -m') 

print stdout.read () 

ssh.close () 


程序 执行 结果 见 图 6-1。 


EHRT PANTIES HT 


堡垒 机 环境 在 一 定 程度 上 提升 了 运营 安全 级 别 ， 但 同时 也 提高 了 日 
过 堡垒 机 SSH 跳 转 到 所 有 的 业务 服务 器 进 


SSHClient. connect 


fefiJHARJFHparamikofSinvoke shelliUblzie Scxmgi e SVSCEUBRASssiERIF, IHBEESSHClient.connecta£S Z4UmJTa—^ WTHJSSHZi& (session) , 
远程 执行 命令 的 操作 。 实 现代 码 如 下 : 


[/home/test/paramiko/simple3.py] 


# 上 传 文件 
# 下 载 文 件 


# 文 件 重 命名 


# 定 义 私 钥 存放 路 径 
# 创 建 私 钥 对 象 key 


pent. connect a 


UE AB T 


图 6-2 


SSH 


E A AU ACE I ER A UT 


通过 新 的 会 


当然 也 可 以 自 定义 ， 如 本 例 的 “/home/key/id_rsa”， 通 过 


常 运营 成 本 ， 作 为 管理 的 中 转 设备 ， 任 何 针对 业务 服务 器 的 管理 请 求 都 会 经 过 此 节点 ， 比 如 SSH 协 议 ， 首 先 运 维 人 员 在 办 公 电 脑 通过 
行 维 护 操作 ， 如 图 6-2 所 示 。 


和 


业务 服务 器 集群 


话 运 行 “ssh user@1P” 去 实现 


#! /usr/bin/env python 
import paramiko 
import os, sys, time 


blip="192.168.1.23" # 定 义 堡垒 机 信息 
bluser="root" 

blpasswd="KJsdiug45" 
hostname="192.168.1.21" # 定 义 业 务 服 务 器 信息 


username-"root" 

password-"I1S8t5jgrie" 

port-22 

passinfo-'V's password: ' # 输 入 服务 器 密码 的 前 标志 串 
paramiko.util.log to file ('syslogin.log') 
ssh-paramiko. SSHClient () ssh KEHL 

ssh.set missing host key policy (paramiko.AutoAddPolicy © ) 
ssh.connect (hostname-blip, username-bluser, yer —-blpasswd) 
channelessh.invoke shell () # 创 建 会 话 ， 开 启 命令 调用 
channel.settimeout (10) 会 话 命 令 执行 超时 时 间 ， Mam 


buff = '' 

resp = '' 

channel.send ('ssh '«*username-'G'-«hostname-'Nn') # 执 行 ssh 登 录 业 务 主 机 

while not buff.endswith (passinfo) : #ssh 登 录 的 提示 信息 判断 ， 输 出 串 尾 含 有 "\'s password: "时 
try: # 退 出 while 循 环 


resp = channel.recv (9999) 
except Exception, e: 


[o 


print 'Error info: $s connection time.' $ (str (e) ) 
channel.close () 

ssh.close () 

sys.exit () 


.find 


('yes/no') ==-1: # 输 出 串 尾 含有 "yes/no" 时 发 送 "yes" 并 回 车 


channel.send ('yesWMn') 


channel.send (passwordt'Nn') # 发 送 业 务 主 机 密码 


bu 


while not bu 


print buff # 打 印 输出 串 


resp = channel.recv (9999) 


if not resp.find 


print ' 


Error 


Ff.endswith ('# 'O: # 输 出 串 尾 为 "# "时 说 明 校 验 通 过 并 退出 while 循 环 
(passinfo) ==-1: # 输 出 串 尾 含有 "7's password: “" 时 说 明 密 码 不 正确 ， 
# 要 求 重 新 输入 


info: Authentication failed.' 


channel 
ssh.clo 
Sys.exi 
buff += res 


se (0 
tO 


P 


while buff. 


find ( 


resp = 


.close O # 关 闭 连 接 对 象 后 退出 


l.send ('ifconfig\n') # 认 证 通过 后 发 送 ifconfig 命 令 来 查看 结果 


q 2d 


channel.recv (9999) 


buff += resp 
except Exceptio 


print "erro 


n» e: 


r info: "+str (e) 


channel.close () 
ssh.close () 


运行 结果 如 下 : 


# python /home/test/paramiko/simple3.py 


Link encap: Ethernet  HWaddr 00: 50: 56: 28: 63: 2D 


192.168.1.21 Bcast: 192.168.1.255 Mask: 255.255.255.0 


ifconfig 

ethO 
inet addr: 
inet6 addr: 
RX packets: 
TX packets: 

lo 


fe80: : 250: 56ff: fe28: 632d/64 Scope: Link 


UP BROADCAST RUNNING MULTICAST MIU: 1500 Metric: 1 


3523007 errors: 0 dropped: 0 overruns: 0 frame: 0 
6777657 errors: 0 dropped: 0 overruns: 0 carrier: 0 


collisions: 0 txqueuelen: 1000 
RX bytes: 606078157 (578.0 MiB) TX bytes: 1428493484 (1.3 GiB) 


Link encap: Local Loopback 
inet addr: 127.0.0.1 Mask: 255.0.0.0 


显示 “inet addr: 192.168.1.21" 说 明 命 令 已 经 成 功 执行 。 


6.3.3 ”实现 堡垒 机 模式 下 的 远程 文件 上 传 


实现 堡垒 机 模式 下 的 文件 上 传 ， 原 理 是 通过 paramiko 的 SFTPClient 将 文件 从 办 公设 备 上 传 至 堡垒 机 指定 的 临时 目录 ， 如 /tmp， 再 通过 SSHClient 的 invoke_shell 方 法 开局 ssh 会 话 ， 执 行 s5cp 命 令 ， 
将 /tmp 下 的 指定 文件 复制 到 目标 业务 服务 器 上 ， 如 图 6-3 所 示 。 


本 示例 具体 使 用 sftp.put () MEEFFE 


系统 管理 员 


E SFTPClient.put 


和 


2 一 一 一 一 一 “ 


i 


业务 服务 器 集群 


图 6-3 ”堡垒 机 模式 下 的 文件 上 传 


[/home/test/paramiko/simple4.py] 


AHER, Asend () 方法 执行 scp 命 令 ， 将 堡垒 机 | 


甸 时 目录 下 的 文件 复制 到 目标 主机 ， 详 细 的 实现 源码 如 下 : 


#! /usr/bin/env python 

import paramiko 

import os, sys, time 

blip="192.168.1.23" # 定 义 堡垒 机 信息 

bluser-"root" 

blpasswd-" IS8t5jgrie" 

hostname-"192.168.1.21" # 定 义 业务 服务 器 信息 
username-"root" 

password-" KJsdiug45" 

tmpdir-"/tmp" 

remotedir-"/data" 

localpath-"/home/nginx access.tar.gz" # 本 地 源 文件 路 径 
tmppath-tmpdir-"/nginx access.tar.gz" HE ABUS ST P TE 
remotepath-remotedirt"/nginx access hd.tar.gz" # 业 务 主 机 目标 路 径 
port-22 

passinfo-'V's password: ' 


paramiko.ut 


ll.log to file ('syslogin.log') 


= paramiko.Transport ( (blip, port) ) 


ftp.put (] 
ftp.close () 


t.connect Cusername-bluser,  password-blpasswda) 
ftp -paramiko.SFTPClient.from transport (t) 


localpath, 


tmppath) 4 EfemyscfESIfS 42 LESE Pi TE 


ssh-paramiko.SSHClient () 
ssh.set missing host key policy (paramiko.AutoAddPolicy © ) 


ssh.connec! 
channel 


t Chostname-blip,. username-bluser, password-blpasswd) 
-ssh.invoke shell () 


channel.settimeout (10) 


bu 


resp 
#scp 


while not buf 


中 转 目 录 文 件 到 目标 主机 


channel.send ('scp '+tmppath+' '+username+'@'+hostname+': '+remotepath+'\n') 


try: 


f.endswith (passinfo) : 


resp = channel.recv (9999) 


except Exception. e: 
print 'Error info: $s connection time.' $ (str (e) ) 
channel.close () 
ssh.close () 
sys.exit () 
buff += resp 


if not buff.find ('yes/no') ==-1: 
channel.send ('yes\n') 
buff-'' 
channel.send (password-*'Mn') 


buff-'' 
while not buff.endswith ('4 'O: 
resp = channel.recv (9999) 
if not resp.find (passinfo) ==-1: 
print 'Error info: Authentication failed.' 
channel.close () 
ssh.close () 
sys.exit () 
buff += resp 
print buff 
channel.close () 
ssh.close () 


运行 结果 如 下 ， 如 目标 主机 /data/nginx_access_hd.tar.gz 存 在 ， 则 说 明文 件 已 成 功 上 传 。 


# python /home/test/paramiko/simple4.py 
nginx access.tar.gz 100$ 1590K 


UJ 
a 


. 6MB/s 00: 00 


当然 ， 整 合 以 上 两 个 示例 ， 再 引入 主机 清单 及 功能 配置 文件 ， 可 以 实现 更 加 灵活 、 强 大 的 功能 ， 大 家 可 以 自己 动手 ， 在 实践 中 学 习 ， 打 造 适合 自身 业务 环境 的 自动 化 运 曹 平台 。 


人 参考 提示 6.2 节 和 6.3 节 常用 类 说 明 与 应 用 案例 参考 http://docs.paramiko.org/en/1.13/ 官 网 文档 。 


第 7 章 ” 系 统 批 量 运 维 管理 器 Fabricj 阅 解 


Fabric 是 基于 Python (2.5 及 以 上 版 本 ) 实现 的 SSH 命 令 行 工具 ， 简 化 了 ssH 的 应 用 程序 部 署 及 系统 管理 任务 ， 它 提供 了 系统 基础 的 操作 组 件 ， 可 以 实现 本 地 或 远程 shell 命 令 ， 包 括 命令 执行 、 文 件 上 
传 、 下 载 及 完整 执行 日 志 输出 等 功能 。Fabric 在 paramiko 的 基础 上 做 了 更 高 一 层 的 封装 ， 操 作 起 来 会 更 加 简单 。Fabric 官 网 地 址 为 : http://www.fabfile.org， 目 前 最 高 版 本 为 1.8。 


7.1 ”Fabric 的 安装 


Fabric 支 持 pip、easy_instal| 或 源码 安装 方式 ， 很 方便 解决 包 依 赖 的 问题 ， 具 体 安装 命令 如 下 (根据 用 户 环境 ， 自 行 选择 pip 或 easy_install) : 


pip install fabric 
easy install fabric 


m 


Fabric 依 赖 第 三 方 的 setuptools、Crypto、paramiko 包 的 支持 ， 源 码 安装 步骤 如 下 : 


# yum -y install python-setuptools 

# wget https: //pypi.python.org/packages/source/F/Fabric/Fabric-1.8.2.tar.gz --no-check-certificate 
# tar -zxvf Fabric-1.8.2.tar.gz 

f cd Fabric-1.8.2 

# python setup.py install 


校 验 安装 结果 ， 如 果 导 入 模块 没有 提示 异常 ， 则 说 明 安装 成 功 : 


# python 
Python 2.6.6 (r266: 84292, Jul 10 2013, 22: 48: 45) 
[GCC 4.4.7 20120313 (Red Hat 4.4.7-3) ] on linux2 


Type "help", "copyright", "credits" or "license" for more information. 
>>> import fabric 
>>> 


官网 提供 了 一 个 简单 的 入 门 示例 : 


[/home/test/fabric/fabfile.py] 


#! /usr/bin/env python 

from fabric.api import run 

def host type O : # 定 义 一 个 任务 函数 ， 通 过 run 方 法 实现 远程 执行 "uname -s /命令 
run ('uname -s') 


运行 结果 如 图 7-1 所 示 。 


[rootesSN2013-08-0?0 fabric]£ fab -H 192.168.1.21,197.168.1.27 host type 
[192.168.1.271] Executing task 'host type' 

[192.168.1.21] run: uname -s 

[192.168.1.21] out: Linux 

[192.168.1.21] out: 


[192.168.1.272] Executing task 'host type' 
[192.168.1.22] run: uname -s 
[192.168.1.27] out: Linux 

[192.168.1.27] out: 


Done. 
Disconnecting from 192.168.1.227... done. 
Disconnecting from 197.168.1.?21... done. 


图 7-1 程序 执行 结果 


其 中 ，fab 命 令 引用 默认 文件 名 为 fabfile.py， 如 果 使 用 非 默认 文件 名 称 ， 则 需 通过 “-f 来 指定 ， 如 : fab-H SN2013-08-021, SN2013-08-022-f host type.py host type。 如 果 管 理 机 与 目标 主机 未 
配置 密 钥 认证 信任 ， 将 会 提示 输入 目标 主机 对 应 账号 登录 密码 。 


fab 作 为 Fabric 程 序 的 命令 行 入 口 ， 提 供 了 丰富 的 参数 调用 ， 命 令 格式 如 下 : 


fab [options] «command»[: argl, arg2-val2, host-foo, hosts-'hl; h2', http://www.hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressed/14964/0EBPS/Text/...] 


下 面 列举 了 常用 的 几 个 参数 ， 更 多 参数 可 使 用 fab-help 查 看 。 
` |， 显示 定义 好 的 任务 函数 名 ; 
` -f， 指 定 fab 入 口 文件 ， 默 认 入 口 文件 名 为 fabfile.py; 


， 指 定 网 关 (中 转 ) 设备 ， 比 如 堡 全 机 环境 ， 填 写 堡 全 机 IP 即 可 ; 


ga 


` -HH， 指 定 目 标 主机 ， 多 台 主 机 用 “，” 号 分 隔 ; 

. 了 ， 以 异步 并 行 方式 运行 多 主机 任务 ， 默 认为 串 行 运行 ; 
--R, dá Xrole (角色 ) ， 以 角色 名 区 分 不 同业 务 组 设备 ; 
. -t， 设 置 设 备 连 接 超 时 时 间 ( 秒 ) ; 

` - 工 ， 设 置 远程 主机 命令 执行 超时 时 间 〈 秒 ) ; 

. -W， 当 命令 执行 失败 ， 发 出 告警 ， 而 非 默 认 中 止 任务 。 


有 时 候 我 们 甚至 不 需要 写 一 行 Python 代 码 也 可 以 完成 远程 操作 ， 直 接 使 用 命令 行 的 形式 ， 例 如 : 


E 


fab -p Ksdh3458d (密码 ) -H 192.168.1.21, 192.168.1.22 -- 'uname -s' 


fab 命 令 是 结合 我 们 编写 的 fabfile.py (其 他 文件 名 须 添加 -f filename 引 用 ) 来 搭配 使 用 的 ， 部 分 命令 行 参数 可 以 通过 相应 的 方法 来 代替 ， 使 之 更 加 灵活 ， 例 如 “-H 192.168.1.21, 192.168.1.22" , 我 
们 可 以 通过 定义 env.hosts 来 实现 ， 如 “env.hosts=["192.168.1.21'，'192.168.1.22]” 。fabfile 的 主体 由 多 个 自 定义 的 任务 函数 组 成 ， 不 同 任务 函数 实现 不 同 的 操作 逻辑 ， 下 面 详细 介绍 。 


evn 对 象 的 作用 是 定义 fabfile 的 全 局 设 定 ， 支持 多 个 属性 ， 包 括 目标 主机 、 用 户 、 密 码 、 角 色 等 ， 各 属性 说 明 如 下 : 


.env.host， 定 义 目 标 主机 ， 可 以 用 IP 或 主机 名 表示 ， 以 Python 的 列表 形式 定义 ， 如 env.hosts=[192.168.1.21'，'192.168.1.221]。 


: env.exclude hosts, AFJ X €t, Jwenv.exclude hosts-[192.168.1.22/]. 
: env.usetr, X 3LJE P$, Jdmenv.user- "root", 
-env.pott, X XE d i »UX v, E722, Jmwenv.port- "22", 


: env.password, Æ 3,545, deenv.password-'KSJ3548t7d', 


:env.passwotds， 与 passwotd 功 能 一 样 ， 区 别 在 于 不 同 主机 不 同 密码 的 应 用 场景 ， 需 要 注意 的 是 ， 配 置 passwotds 时 需 配置 用 户 、 主 机 、 端 口 等 信息 ， 如 : 


env.passwords = { 


'root8192.168.1.21: 22':  "'SJk348ygd', 
'root8192.168.1.22: 22':  'KSh458j4f', 
'root8192.168.1.23: 22':  'KSdu43598' 


- env.gateway, A LP] X (PH, Apu) IP, Juenv.gateway-'192.168.1.23', 
: env.deploy release dir, E] X 3L4/5] S X, HA: env. “变量 名 称 ”， 如 env.deploy_telease_dit、env.age、env.sex 等 。 


.enhv.toledefsg， 定 义 角 色 分 组 ， 比 如 web 组 与 db 组 主机 区 分 开 来 ， 定 义 如 下 : 


env.roledefs = { 
'webservers': ['192.168.1.21', '192.168.1.22', '192.168.1.23', '192.168.1.24'], 
'doservers': ['192.168.1.25', '192.168.1.26'] 


引用 时 使 用 Python 修饰 符 的 形式 进行 ， 角 色 修 饰 符 下 面 的 任务 函数 为 其 作用 域 ， 下 面 来 看 一 个 示例 : 


Qroles ('webservers') 

def webtask () : 

run ('/etc/init.d/nginx start') 
Qroles ('dbservers') 
def dbtask O) : 
run (' /etc/init.d/mysql start') 
Qroles ('webservers',  'dbservers') 
def pubclitask O : 

run ('uptime') 

def deploy O : 

execute (webtask) 

execute (dbtask) 

execute (pubclitask) 


在 命令 行 执 行 #fab deploy 就 可 以 实现 不 同 角色 执行 不 同 的 任务 国 数 了 


7.3.2 BAPI 


Fabric 提 供 了 一 组 简单 但 功能 强大 的 fabric.api 命 令 集 ， 简 单 地 调用 这 些 API 就 能 完成 大 部 分 应 用 场景 需求 。Fabric 支 持 常用 的 方法 及 说 明 如 下 : 
loca， 执行 本 地 命令 ， 如 : local ('uname-s') ; 

.lcd， 切 换 本 地 目录 ， 如 : lcd ('/home') ; 

. cd， 切换 远程 目录 ， 如 : cd ('"/data/logs) ; 

:tun， 执 行 远 程 命令 ， 如 : run ('free-m') ; 

- sudo，sudo 方 式 执行 远程 命令 ， 如 : sudo ('"/etc/init.d/httpd start"). ; 

- put， 上 传 本 地 文件 到 远程 主机 ， 如 : put ('/home/userinfo', '/data/userinfo') ; 
get， 从 远程 主机 下 载 文件 到 本 地 ， 如 : get ('/data/userinfo', '/home/rootinfo') ; 

- btfompt， 获 得 用 户 输入 信息 ， 如 : prompt ("please input user password: ') ; 

. confirm， 获 得 提示 信息 确认 ， 如 : confirm ("Tests falled.Continue[Y/N]? ") ; 

. feboot， 重 局 远程 主机 ， 如 : reboot () ; 

:QtasK， 函 数 修 饰 符 ， 标 识 的 函数 为 fab 可 调用 的 ， 非 标记 对 fab 不 可 见 ， 纯 业务 逻辑 ; 
 (@runs_once， 苑 数 修 饰 符 ， 标 识 的 函数 只 会 执行 一 次 ， 不 受 多 人 台 主 机 影响 。 


下 面 结合 一 些 示 例 来 帮助 大 家 理解 以 上 常用 的 AP1。 


7.3.3 ”示例 1: 查看 本 地 与 远程 主机 信息 


本 示例 调用 local () 方法 执行 本 地 ( 主 控 端 命令, 添加 “@runs_once” 修 饰 符 保证 该 任务 函数 只 执行 一 次 。 调 用 run () 方法 执行 远程 命令 。 详 细 源 码 如 下 : 


[/home/test/fabric/simple1.py] 


#! /usr/bin/env python 
From fabric.api import * 
env.user-'root' 
env.hosts-['192.168.1.21', '192.168.1.22'] 
env.password-'LKs934jh3' 
&$runs once # 查 看 本 地 系统 信息 ， 当 有 多 台 主 机 时 只 运行 一 次 
def local task O : # 本 地 任务 函数 
local ("uname -a") 
def remote task O : 
with cd ("/data/logs") : #vwith” 的 作用 是 让 后 再 的 表达 式 的 语句 继承 当 前 状态 ， 实 现 
run ("ls -1") : "cd /data/logs && ls -1” 的 效果 


通过 fab 命 令 分 别 调 用 local task 任 务 国 数 运行 结果 如 图 7-2 所 示 。 


[root8sN7013-08-0?0 fabric]£ fab -f simplel.py local task 
[192.168.1.71] Executing task 'local task' 
[localhost] local: uname -a 


Linux 5N2013-08-070 2.6.32-358.18.1.e16.x86 64 #1 SMP Wed Aug 28 17:19:38 UTC 7013 x86 64 x86 64 x86 64 GNU/Linux 


Done. 


图 7-2 ”调用 local_task 任 务 函 数 运行 结果 


结果 中 显示 了 “[192.168.1.21]Executing task'local task" ， 但 事实 上 并 非 在 主机 192.168.1.21 上 执行 任务 ， 而 是 返回 Fabric 主 机 本 地 “uname-a” 的 执行 结果 。 


调用 remote task 任 务 函 数 的 执行 结果 如 图 7-3 所 示 。 


[rooteSN2013-08-028 fübric]& fab -f simplel py remote task 


[192 168.1 
[192.168.1 
[192.168.1 


[192.168.1. 


[192.16 


[192.168. 
[192.168.1. 
[192.168.1. 


Dona. 


.21] Executing task 'remote task" 
.21] run: 1s -1 
.é1] out: ZH: Horo 
[192.168.1. 


21] out: -rw-r--r--. 1 root root 8266998 3H 3 11:20 access.tar.gz 


21] out: 


227] run: ls -1 


& 1.22] Executing task 'remote tüsk' 
[192.168.1. 
8.1.27] out: total 8076 


zz] out: -rw-r--r-- 1 root root 8266998 Mar 9 11:38 access. tar.gz 


22] out: 


Disconnecting from 192.165.1.22... done. 
I1isconnecting from 192.168.1.?71... done. 


图 7-3 dHH]remote task4£ Zf Zt38 4125 XE 


本 示例 使 用 “@task” 修饰 符 标志 入 口 函数 go () 对 外 部 可 见 ， 配 合 “@runs_ once" 修饰 符 接收 用 户 输入 ， 最 后 调用 worktask () 任务 函数 实现 远程 命令 执行 ， 详 细 源 码 如 下 : 


[/home/test/fabric/simple2.py] 


#! /usr/bin/env python 


env.user-'root' 


from fabric.api import * 


env.hosts-['192.168.1.21', '192.168.1.22'] 


env.password-'LKs934jh3' 
&$runs once # 主 机 遍历 过 程 中 ， 只 有 第 一 台 触 发 此 函数 


def input raw () 


def go () 


return prompt ("please input directory name: 
def worktask (dirname) : 

run ("ls -1 "+dirname) 

Qtask # 限 定 只 有 go 函数 对 fab 命 令 可 见 


getdirname = input raw () 
worktask (getdirname) 


", del 


Fault-"/home") 


该 示例 实现 了 一 个 动态 输入 远程 目录 名 称 ， 再 获取 目录 列表 的 功能 ， 由 于 我 们 只 要 求 输入 一 次 ， 再 显示 所 有 主机 上 该 目录 的 列表 信息 ， 调 用 了 一 个 子 函 数 input_raw () 同时 配置 @runs_once 修 饰 符 来 


达到 此 目的 。 


执行 结果 如 图 7-4 所 示 。 


[roote5N7013-08-070 fabricl# fab -f simple2.py go 

[197.168.1.721] Executing task 'go' 

please input directory name: [/home] /root 

[192.168.1.21] run: ls -L /root 

[192.168.1.21] out: SHE 28 

[192.168.1.271] out: drwxr-xr-x. 2 root root 4096 2H | 21-23 ] 

[197 168.1.71] out: -rw------- . l root üb4 HH Z3 /M13 anaconda-ks. ctq 
[192.168.1.21] out: -rw-r--r--. 1 root 13720 8 月 | Z013 install. log 
[192.168.1.21] out: -rw-r--r--. 1 root 38o/ & FH 2013 install.log.syslog 
[192.168.1.21] out: 


[192.168.1.27] Executing task 'go' 


[192.168.1.22] run: ls -L /root 

[192.168.1.22] out: total ?4 

[1927.165.1.77] out: -rW ] root root 964 Aug 23 anaconda-ks . cfg 
[192.168.1.27] out: ] rc "Oct 13/20 Aug 23 install. log 
[192.168.1.22] out: | ot  385/ Aug 23 install.log.syslog 
[192.168.1.22] out: -r | @ Aug 23 yum. Log 
[192.168.1.272] out: 


Done. 
Disconnecting from 192.168.1.22... done. 
Disconnecting from 192.168.1.21... done. 


图 7-4 程序 运行 结果 


/.3.5 ”不 例 3: 网 天 模式 文件 上 传 与 执行 


本 示例 通过 Fabric 的 env 对 象 定义 网 关 模 式 ， 即 俗称 的 中 转 、 堡 垒 机 环境 。 定 义 格 式 为 “env.gateway='192.168.1.23” ， 其 中 IP“192.168.1.23” 为 堡垒 机 IP， 再 结合 任务 函数 实现 目标 主机 文件 上 传 
与 执行 的 操作 ， 详 细 源 码 如 下 : 


[/home/test/fabric/simple3.py] 


#! /usr/bin/env python 

from fabric.api import * 

from fabric.context managers import * 

rom fabric.contrib.console import confirm 

env.user-'root' 

env.gateway-'192.168.1.23' # 定 义 堡 垒 机 IP， 作 为 文件 上 传 、 执 行 的 中 转 设 备 
env.hosts-['192.168.1.21', '192.168.1.22'] 


E ag 


# 假 如 所 有 主机 密码 都 不 一 样 ， 可 以 通过 env.passworqs 字 典 变量 一 一 指定 
env.passwords = { 
'root8192.168.1.21: 22':  'LKs934jh3', 
'root8192.168.1.22: 22': "'LKs934jhn3', 
'root8192.168.1.23: 22':  'UI7384hg6' S ZELUM SIE E 
} 
lpackpath="/home/install/lnmp0.9.tar.gz" # 本 地 安装 包 路 径 
rpackpath="/tmp/install" n EROR TE 
@task 


def put task O : 
run ("mkdir -p /tmp/install") 
with settings (warn only-True) : 
result = put (lpackpath, rpackpath) # 上 传 安装 包 
if result.failed and not confirm ("put file failed, Continue[Y/N]? ") : 
abort ("Aborting file put task! ") 


@task 
def run task O : # 执 行 远程 命令 ， 安 装 Inmp 环 境 
with cd ("/tmp/install") 


run ("tar -zxvf 1nmp0.9.tar.gz") 
with cd ("lnmp0.9/") : # 使 用 with 继续 继承 /tmp/instal1 目 录 位 置 状 态 
run ("./centos.sh") 


@task 

def go O : # 上 传 、 安 装 组 合 
put task () 
run task () 


示例 通过 简单 的 配置 env.gateway='192.168.1.23' 束 可 以 轻松 实现 堡 驹 机 环境 的 文件 上 传 及 执行 ， 相 比 paramiko 的 实现 方法 简洁 了 很 多 ,编写 的 任务 遂 数 完全 不 用 考虑 堡 鸡 机 环境 ， 配 置 env.gateway 
即 可 。 


A Cahrir kiir AZAR 


下 面 介绍 三 个 比较 典型 的 应 用 Fabric 的 示例 ， 涉 及 文件 上 传 与 校 验 、 环 境 部 署 、 代 码 发 布 的 功能 ， 读 者 可 以 在 此 基础 进行 功能 扩展 ， 写 出 更 加 贴近 业务 场景 的 工具 平台 。 


我 们 时 常 做 一 些 文件 包 分 发 的 工作 ， 实 施 步骤 一 般 是 先 压缩 打包 ， 再 批量 上 传 至 目标 服务 器 ， 最 后 做 一 致 性 校 验 。 本 案例 通过 put () 方法 实现 文件 的 上 传 ， 通 过 对 比 本 地 与 远程 主机 文件 的 md5， 最 
终 实 现 文件 一 致 性 校 验 。 详 细 源 码 如 下 : 


[/home/test/fabric/simple4.py] 


#! /usr/bin/env python 


From 


Fabric.api import * 


From 


Fabric.con 


From 


Fabric.cont 


env.user- 


env.hosts- 


text managers import * 


'root' 


['192.168.1.21', '192. 


rib.console import confirm 


168.1.22'] 


env.password-'LKs934jh3' 


Qtask 


Qruns once 


def tar task O : # 本 地 打包 任务 函数 ， 只 限 执行 一 次 
with h lcd ("/data/logs") : 
local ("tar -czf access.tar.gz access.log") 
@task 
def put task O : # 上 传 文件 任务 函数 
run ("mkdir -p /data/logs") 
with cd ("/data/logs") : 


with settings (warn only-True) : tput CE) 出 现 异常 时 继续 执行 ， 非 终止 
result = put ("/data/logs/access.tar.gz", "/data/logs/access.tar.gz") 


kis 


f result.failed and no 


QGtask 
def check ` 
with settings (warn only-True) : 

# 本 地 ]ocal 命 令 需 要 配置 capture=True 才 能 捕获 返回 值 


lmd5=local ("md5sum 


abort ("Aborting fil 


task O: # 校 验 文件 


t confirm ("put file failed, Continue[Y/N]? ") : 
e put task! ") # 出 现 异 常 时 ， 确 认 用 户 是 否 继续 ，《〈Y 继 续 ) 


任务 函数 


/data/logs/access.tar.gz", capture-True) .split (' ') [0] 


rmd5-run ("md5sum /data/logs/access.tar.gz") .split (' '2 [0] 


if lmd5--rmd5: # 对 比 本 地 及 远程 文件 md5 信 息 
print "OK" 

else: 
print "ERROR" 


过 定义 三 个 功能 任务 函数 ， 


本 示例 通 
fab 一 
Fab 一 
Fab 一 


当然 ， 我 们 也 可 以 组 合 在 一 起 运行 ， 


@task 
fg O : 
tar task () 
put task O 


de 


check ` 


task () 


分 别 实现 文件 的 打包 、 上 传 、 校 验 功能 ， 且 三 个 功能 相互 独立 ， 可 分 开 运 行 ， 如 : 


f simple4.py tar task # 文 件 打包 
f simple4.py put task # 文 件 上 传 
t simple4.py check task # 文 件 校 验 


再 添加 一 个 任务 函数 go， 代 码 如 下 : 


运行 fab-f simple4.py go 就 可 以 实现 文件 打包 、 上 传 、 校 验 全 程 自 动 化 。 


7.4.2 示例 2: 


部 署 LNMP 业 务 服务 环境 


业务 上 线 之 前 最 关键 的 一 项 任务 便 是 环境 部 署 ， 往 往 一 个 业务 涉及 多 种 应 用 环境 ， 比 如 Web、DB、PROXY、CACHE 等 ， 本 示例 通过 env.roledefs 定 义 不 同 主 机 角色 ， 再 使 


FH "Qroles ('webservers') " 


修饰 符 绑 定 到 对 应 的 任务 函数 ， 实 现 不 同 角色 主机 的 部 署 差异 ， 详 细 源 码 如 下 : 


[/home/test/fabric/simple5.py] 


#! /usr/bin/env python 


From 


Fabric.colors import * 


From 


Fabric.api import * 


env.user-'root' 


env.roledefs = ( # 定 义 业 务 角 色 分 组 
'webservers': ['192.168.1.21', '192.168.1.22'] 


} 


'dbservers': 


env.passwords = { 


} 


Qroles ('webservers') 
f webtask O : 


de 


['192.168.1.23'] 


'root8192.168.1.21: 22': 'SJk348ygd', 
'root8Q192.168.1.22: 22':  'KSh4583j4f', 
'root8192.168.1.23: 22': "'KSdu43598' 


print 


#webtask 任 务 函 数 引 用  webservers ! 角 色 修 饰 符 
# 部 署 nginx php PhP-fpm 等 环境 


yellow ("Install nginx php php-fpmhttp://www.hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressed/14964/OEBPS/Text/...") 


with settings (warn onl 


y-True) : 


run ("yum -y install nginx") 
run ("yum -y install php-fpm php-mysql php-mbstring php-xml php-mcrypt php-gd") 
run ("chkconfig --levels 235 php-fpm on") 
run ("chkconfig --levels 235 nginx on") 
Qroles ('dbservers') # dbtask 任 务 函 数 引 用 'dbservers' 角 色 修 饰 符 
def dbtask O : # 部 署 mysql 环 境 
print yellow ("Install Mysqlhttp://www.hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressed/14964/OEBPS/Text/...") 
with settings (warn only-True) : 


I 
I 


Qroles € 


def 


rel 


de 


本 


un ("yum -y install mysql mysql-server") 


un C"chkconfig --levels 235 mysqld on") 


print 


publictask () : 


yellow ("Install epel 


with settings (warn onl 
un C"rpm -Uvh http: //dl.fedoraproject.org/pub/epel/6/x86 64/epel- 
ease-6-8.noarch.rpm") 
un ("yum -y install ntp") 
f deploy O : 

te (publictask) 
te (webtask) 

te (dbtask) 


L 


EA 


execu 
execu 
execu 


'webservers',  'dbservers') * publictask 任 务 函 数 同时 引用 两 个 角色 修饰 符 
# 部 署 公共 类 环境 ， 如 epel、ntp 等 


ntphttp://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/14964/OEBPS/Text/...") 


y=True) : 


示例 通过 角色 来 区 别 不 同业 务 服务 环境 ， 分 别 部 署 不 同 的 程序 包 。 我 们 只 需要 一 个 Python 脚本 就 可 以 完成 不 同业 务 环境 的 定制 。 


74.3 ”示例 3: 生产 环境 代码 包 上 发布 管 理 


程序 生产 环境 的 发 布 是 业务 上 线 最 后 


码 如 下 : 


一 个 环节 ， 要 求 具备 源码 打包 、 发 布 、 切 换 、 回 滚 、 版 本 管理 等 功能 ， 本 示例 实现 了 这 一 整套 流程 功能 ， 其 中 版 本 切换 与 回 滚 使 用 了 Linux 下 的 软 链接 实现 。 详 细 源 


[/home/test/fabric/simple6.py] 


#! /usr/bin/env python 


From fabric.api import * 

From fabric.colors import * 

from fabric.context managers import * 

from fabric.contrib.console import confirm 
import time 

env.user-'root' 

env.hosts-['192.168.1.21', '192.168.1.22'] 
env.password-'LKs934jh3' 


env.project dev source - '/data/dev/Lwebadmin/' # 开 发 机 项 目 主 目 录 
env.project tar source = '/data/dev/releases/' # 开 发 机 项 目 压 缩 包 存储 目录 
env.project pack name = 'release' # 项 目 压缩 包 名 前 缀 ， 文 件 名 为 release.tar.gz 
env.deploy project root = '/data/www/Lwebadmin/' # 项 目 生产 环境 主 目录 


'releases' # 项 目 发 布 目 录 ， 位 于 主 目录 下 面 
'current' # 对 外 服务 的 当前 版 本 软 链接 


env.deploy release dir 
env.deploy current dir 


env.deploy version-time.strftime ("$Y$m$d") +"v2" # 版 本 号 
Gruns once 
def input versionid ©) : # 获 得 用 户 输入 的 版 本 号 ， 以 便 做 版 本 回 滚 操作 
return prompt ("please input project rollback version ID: ", default-"") 
@task 
@runs once 
def tar source () : # 打 包 本 地 项 目 主 目录 ， 并 将 压缩 包 存 储 到 本 地 压缩 包 目录 
print yellow ("Creating source packagehttp://www.hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressed/14964/OEBPS/Text/...") 
with lcd (env.project dev source) : 
local ("tar -czf $s.tar.gz ." $ C(env.project tar source + env.project pack name) ) 
print green ("Creating source package success! ") 
Gtask 
def put package () : # 上 传 任务 函数 
print yellow ("Start put packagehttp://www.hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressed/14964/O0EBPS/Text/...") 
with settings (warn only-True) : 


with cd (env.deploy project roottenv.deploy release dir) : 
run ("mkdir $s" $ (env.deploy version) ) # 创 建 版 本 目录 
env.deploy full path-env.deploy project root + env.deploy release dir + 
"/"cenv.deploy version 
with settings (warn only-True) : # 上 传 项 目 压 缩 包 至 此 目录 
result = put (env.project tar source + env.project pack name -*".tar.gz", 


env.deploy full path) 
if result.failed and no ("put file failed, Continue[Y/N]? "): 
abort ("Aborting file put task! ") 
with cd Cenv.deploy full path) : # 成 功 解 压 后 删除 压缩 包 


[o 


run ("tar -zxvf $s.tar.gz" $ (env.project pack name) ) 
run ("rm -rf $s.tar.gz" $ (env.project pack name) ) 
print green ("Put & untar package success! ") 
@task 
def make symlink © : # 为 当前 版 本 目录 做 软 链接 
print yellow ("update current symlink") 
env.deploy full path-env.deploy project root + env.deploy release dir + 
"/"cenv.deploy version 
with settings (warn only-True) : # 删 除 软 链接 ， 重 新 创建 并 指定 软 链 源 目录 ， 新 版 本 生效 


run ("rm -rf $s" $ (env.deploy project root + env.deploy current dir) ) 


run ("In -s $s $s" $ (env.deploy full path, env.deploy project root + 
env.deploy current dir) ) 


print green ("make symlink success! ") 
Qtask 
def rollback O : # 版 本 回 深 任 务 函数 
print yellow ("rollback project version") 
versionid- input versionid O # 获 得 用 户 输 入 的 回 滚 版 本 号 


if versionid--'': 
abort ("Project version ID error, abort! ") 

env.deploy full path-env.deploy project root + env.deploy release dir + 
"/"+versionid - i 

run ("rm -f $s" $ env.deploy project root + env.deploy current dir) 

run ("ln -s $s $s" $ (env.deploy full path, env.deploy project root + env. 
deploy current dir) ) 4M bbs, EUERE KEAR ARCA E 

print green ("rollback success! ") 
@task 
def go O: # 自 动 化 程序 版 本 发 布 入 口 函数 

tar source () 

put package () 

make symlink O 


本 示例 实现 了 一 个 通用 性 很 强 的 代码 发 布 管 理 功 能 ,支持 快 速 部 署 与 回 滚 ， 无 论 发 布 还 是 回 滚 ， 都 可 以 通过 切换 current 的 软 链 来 实现 ， 非 常 灵活 。 该 功能 的 流程 图 如 图 7-5 所 示 。 


m e 


REIER 


生产 环境 集群 


J 
Lwebadmin F current -> /data/www/l webadmin/releases/20140309v2 


dad " releases 
| 20140309v1 
index. php CSS 
A i 
amii naaa 
an index.php 
version j 
releases : stem 
L— release.tar.qgz Bei ni 
CS5 
images 
index.php 
js 
system 
version 


图 7-5 ”生产 环境 代码 包 发 布 管理 流程 图 


在 生产 环境 中 Nginx 的 配置 如 下 : 


server name domain.com 
index index.html index.htm index.php; 
root /data/www/Lwebadmin/current; 


将 站 点 根 目 录 指 向 “/data/www/Lwebadmin/current”， 由 于 使 用 Linux 软 链接 做 切换 ， 管 理 员 的 版 本 发 布 、 回 滚 操 作用 户 无 感知 ， 同 时 也 规范 了 我 们 业务 上 线 的 流程 。 


Qs 7.2 节 fab 常 用 参数 说 明 参 考 http://docs.fabfile.org/en/1.8/ 官 网 文档 。 


第 8 章 ”从 “ 零 ” 开 发 一 个 轻 量 级 WebServer 


当今 互联 网 行业 中 ，Web 服 务 几 平 覆 羡 所 有 业务 ， 包 括 搜索 、 电 商 、 社 交 、 视 频 、 游 戏 等 。 作 为 该 行业 的 从 业 人 员 ， 尤 其 是 一 名 运 维 人 员 ， 深 入 了 解 HTTP 协 议 的 工作 原理 及 机 制 尤 为 重要 ， 可 以 帮助 
运 维 人 员 对 Web 服 务 优 化 、 运 营 提 供 理论 指导 。 比 如 前 端 元 素 结构 是 否 合理 ，HTTP 缓 存 配置 是 否 与 业务 特性 相符 ，HTTP 压 缩 比 应 该 如 何 选择 等 ， 通 过 这 些 优化 点 可 以 提高 业务 服务 质量 ， 用 户 体验 也 会 得 
到 不 少 提升 。 本 章节 介绍 作者 开发 的 一 轻 量 级 Webserver 一 一 Yorserver， 从 一 个 Webserver 所 具备 的 基本 功能 出 发 ， 详 细 介绍 每 个 功能 点 的 实现 原理 与 方法 。 


8.1 Yorserver 介 绍 


8.1.1 功能 特点 
Yorserver 是 基于 Python 实现 的 轻 量 级 WebSserver， 上 有 具备 一 般 Webserver 的 基本 功能 ， 支 持 Linux i386 与 Xx86 系 统 。Yorserver 安 装 、 配 置 都 非常 简单 ， 其 最 新 版 本 为 1.0.1， 有 具备 以 下 功能 特点 : 
. 支持 自 定义 response 服 务 及 协议 版 本 ; 
: 支持 Expites 及 max-apge 功 能 ; 
. 支持 多 进程 或 线程 开启 ; 
“ 支持 错误 页 及 默认 页 配置 ; 
. 支持 access_log 及 ettot_ log 配置 ; 
| 支持 gzip 压 缩 配 置 ; 
. 支持 安全 套 连 接 服务 HTTPS ; 
. 支持 HTTP MIME 自 定义 配置 ; 
. 支持 PHP、Perl、Python 脚 本 cgi 访 问 ; 
. 支持 配置 文件 。 


日 -出 yorserver 
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H-A src PHER 


图 8-1 Yotsetvet 目 录 结 构 
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运行 : sbin/server.sh start， 启 动 Yorserver 服 务 。 


8.1.2 配置 文件 


Yorserver 采 用 ConfigObj 读 取 配 置 文件 ，ConfigObj 是 一 个 简单 上 且 功 能 强大 的 用 于 读 写 配置 文件 的 Python 应 用 接口 。 提 供 一 个 简单 的 编程 接口 和 一 个 简单 的 语法 配置 文件 。Yorserver 完 整 的 配置 文件 
内 容 如 下 : 


[/usr/local/yorserver/conf/yorserver.conf] 


# server version: Add response HTTP header server version information. 
server version = "YorServerl.0" 
# bind ip: Allows you to bind yorserver to specific IP addresses. 
bind 1p-"0.0.0.0" 
4 port: Allows you to bind yorserver's port, http default 80 and Https 443. 
port-80 
# sys version: Add response HTTP header python version information. 
Sys version = "" 
4 protocol version: Add response HTTP header protocol version. 
protocol version - "HTTP/1.0" 
# Expires: Add response HTTP header Expires and Max-age version. format: d/h/m) . 
Expires-"7qg" 
# Multiprocess: configure yorserver Multi process support (on/off). 
Multiprocess-"off" 
4 Multithreading: configure yorserver Multi threading support (on/off). 
Multithreading-"on" 
4 DocumentRoot: configure web server document root. 
DocumentRoot-" /usr/local/yorserver/www" 
# page404: configure web server deafult 404 page. 
page404-"/404.html" 
# Indexes: directory list (on/off). 
Indexes-"off" 
# indexpage: configure web server deafult index page. 
indexpage-"/index.html" 
# Logfile: configure web server log file path, disable logs Logfile-"". 
Logfile-"/usr/local/yorserver/logs/access.log" 
# errorfile: configure web server error file path. 
errorfile-"/usr/local/yorserver/logs/error.log" 

[gzip] 
# gzip: Enable (on) or Disable (off) gzip options. 
gzip-"on" 
f configure compress level (1-9) 
compresslevel-1 
[ssl] 
# ssl: Enable (on) or Disable (off) HTTPS options, port options must configure "443". 
ss] Eo) cen 
# configure privatekey and certificate pem. 
privatekey="/usr/local/yorserver/key/server.key" 
certificate="/usr/local/yorserver/key/server.crt" 
[cgim] 
# cgi moudle: Enable (on) or Disable (off) cgi support. 
cgi moudle="on" 
# cgi path: configure cgi path, multiple cgi path use ', ' delimited, cgi path in bin directory. 
cgi path='/cgi-bin', 
# cgi extensions: configure cgi file extension. 


cgi extensions-" ('.cgi', '.py', '.pl', '.php') " 
4 contentTypes: configure file mime support. 
[contentTypes] 

css-"text/css" 


doc-"application/msword" 
gif-"image/gif" 
gz-"application/x-gzip" 


了 解 Nginx 或 Apahce 配 置 的 人 对 Yorserver 的 配置 并 不 会 陌生 ， 读 者 可 以 党 试 通过 修改 不 同 参数 值 ， 来 观察 Web 服 务 器 与 客户 端 表 现 出 的 差异 ， 客 户 端 可 以 使 用 HttpWatch 工 具 来 跟踪 。 下 面 介 绍 
Yorserver 各 个 功能 点 具体 的 实现 原理 及 方法 。 


8.2 ”功能 实现 方法 


Python 默认 自 带 的 模块 已 经 可 以 实现 简单 的 HTTP 服 务 器 ， 如 BaseHTTPServer 模 块 提供 基本 的 Web 服 务 和 处 理 器 类 ; SimpleHTTPServer 模 块 包含 GET 与 HEAD 请 求 与 处 理 支 持 ; CGIHTTPServer 模 块 


包含 处 理 POST 请 求 的 支持 。Yorserver 是 基于 BaseHTTPServer 模 块 Web 服 务 类 HTTPServer 扩 展 而 来 ， 同 时 也 使 用 CGIHTTPServer 模 块 提供 CGI 程序 的 接收 与 执行 。 下 面 详细 介绍 各 个 功能 点 。 


8.2/] HTTPZETZUJBE 


(1) Expires 机 人 制 | 


在 HTTP/1.1 协 议 中 ，Expires 字 段 声明 了 一 个 网 页 或 URL 地 址 不 再 被 浏览 器 缓存 的 时 间 ， 一 旦 超过 了 这 个 时 间 ， 浏 览 器 会 重新 向 原始 服务 器 发 起 新 请 求 ， 在 Yorserver 中 Expires 字 段 的 配置 如 下 ， 指 
定 “Expires="7d””， 表 示 文件 在 客户 端 缓存 7 天 。 


# Expires: Add response HTTP header Expires and Max-age version. format: d/h/m (day/hour/minute) . 
Expires-"7qg" 


访问 Yorserver 服 务 下 的 站 点 URL “http://192.168.1.20/index2.html”， 通 过 HttpWatch 进 行 跟踪 ， 跟 踪 结 果 见 图 8-2， 可 见 Expires 字 段 显 示 “Tue，22 Jul 2014 23: 18: 49 GMT" ， 请 求 原始 服务 


器 时 间 Date 字 段 为 “Tue，15 Jul 2014 15: 18: 49 GMT”， 由 于 Date 描 述 的 时 间 为 世界 标准 时 间 ， 换 算 成 本 地 时 间 需 “+8”， 即 “Tue，15 Jul 2014 23: 18: 49”， 加 上 配置 的 7 天 (7d) 过 期 值 ， 结 


果 等 于 Expires 字 段 值 。 
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HttpWatch Professional 7.2 


| 278 bytes sent to 192. 168. 1.20:80 

|GET /index2.html HIIB/1.1 
Accept: text/html, application/xhtmitzml, */* 
Accept-Language: zh-CN 


Accept-Encoding: gzip, deflate 
Host: 192.168.1.20 

Connection: Keep-Alive 
Cache-Control: no-cache 


Time 


Sent Received Method Result Type URL 


Ic httip://192. 183. 1.20 /ndex 2. htm 
1983 GET } — htp:/[152. 168. 1.20/style. css 


487 GET http:/[192. 188. 1. 20/magen/atop.git 
http://192. 1863. 1.20 /mages/gbot. gi? 


Wr CEP EE. i 


n 


Cb Find Export 1539 bytes received by 192.168.1. 103:61238 CA Find Export 


IHRTTP/1.0 200 OK 司 
Server- YorServerl.(ü 
Date: Tue, l5 Jul 2014 16:18:49% GHT 


User-Agent: Mozilla/5.0 (rompaetible; MSIE 9.0; Windows NT 6-1; Tri||Laast-Modified- Tue, 15 Jul 2014 15-18-15 (MT 


Caeche-Contraol:- lic; max-age-a04800 
|Expires- Tue, 22 Jul 2014 23-18-49 CMT 
Content-type: text/html 
Content-Encoading- gzip 

Content-Length: 1264 
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图 8-2 ”返回 的 Expites 字 段 信 息 


关于 Yorserver 实 现 文件 过 期 Expires 的 方法 ， 实 现 原理 为 返回 “当前 时 间 ”+ “配置 过 期 时 间 ”， “过 期 时 间 ” 是 通过 datetime.timedelta () 方法 转换 不 同 单位 时 间 后 ， 再 与 “当前 时 间 ” 累 加 ，“ 过 
期 时 间 ” 支 持 通 过 days (H) . hours (小 时 ) 、minutes (分 钟 ) 等 单位 来 表示 ， 以 下 为 Yorserver 文 件 过 期 Expires 的 实现 方法 : 


# 文 件 


过 期 Expires 实 现 方法 


def get http expiry ( Expirestype, 
if In] 


num) : 
| Expirestype--"d": # 当 前 时 间 + 过 期 时 间 (日 、 小 时 、 分 钟 》 


(2) 


expire date = datetime.datetime.now () + datetime.timedelta (days= num) 
elif Expirestype--"h": 
expire date = datetime.datetime.now () + datetime.timedelta (hours= num) 
else: 


expire date = datetime.datetime.now () + datetime.timedelta (minutes- num) 
return expire date.strftime ('$a, %d $b $Y $H: $M: %S GMT') 


# Expires 格 式 


max-age 机 制 


# 格 式 化 时 间 为 


客户 端 另 一 缓存 机 制 则 是 利用 HTTP 消 息 头 中 的 “cache-control” 来 控制 ， 其 中 max-age 字 段 实现 在 原始 服务 器 返回 的 max-age 配 置 的 秒 数 内 ， 浏 览 器 将 不 会 发 送 相关 请 求 到 服务 器 ， 而 是 由 缓存 直接 
提供 ， 超 过 这 一 时 间 段 后 才 向 原始 服务 器 发 起 请 求 ， 由 服务 器 决定 返回 新 数据 还 是 仍 由 缓存 提供 。 与 Expires 不 同 ，max-age 是 通过 指定 相对 时 间 秒 数 来 实现 缓存 过 期 ， 当 与 Expires 同 时 存在 时 ，max-age 
会 覆盖 Expires。 下 面 详细 介绍 max-age 的 实现 原理 ， 由 于 max-age 与 Expires 的 时 间 结 果 是 等 价 的 ， 只 是 表现 形式 不 同 ， 因 此 只 要 得 到 其 中 一 个 值 都 可 以 计算 出 另 一 个 值 。Yorserver 是 通过 已 知 Expires 值 


计算 出 m 


ax-age， 实 现 源码 如 下 : 


# 定 义 


过 期 时 间 类 型 ， 统 一 成 * 秒 “单位 


ExpiresTypes = ( 


Mou : 86400, 
"nh" : 3600， 
"m" : 60， 


} 
# 返 回 


max-age 方 法 ， 通 过 不 同时 间 单 位 秒 * 数 量 得 到 


def secs from days ( seconds, num) 
return seconds * num 
iE X "cache control” 返 回 内 容 


CACHI 


Expirestype-"d" 
Expirenum-7 


E MAX AGE-pubutil.secs from days (ExpiresTypes[Expirestype], int (Expirenum) ) 


cache control = 'public; max-age-$d' $ (CACHE MAX AGE, ) 


以 过 期 时 间 “7d” 为 例 ， 计 算 公式 为 “86400*7=604800” ， 返 回 完整 “Cache-Control” 内 容 为 “Cache-Control: public; max-age-604800" ， 效 果 如 图 8-3 所 示 。 
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278 bytes sent to 152.168. L 20:B0 


GET /lndexz.humi HIIB/1.1 


Accept: text/html, applicatinon/rhtmllxml, */* Server: Yor5cerverl.l 

Accept-Language: zh-uUuN Date: Tue, 15 JUL Z014 15-lIBE-4" GENI 
Uaar-igant: NHozilla/5.ü0 {compatible; MSIE 9.0; Windowa NT 5.17; Tri| |Laat-Modifisd: Tue, 15 Jul Z27014 15-18-15 CMT 
Accept-Encoding: gzip, deflate cache-Conrrol: public; max-age-aeg04800 

Host: 192.158.1.20 Expires: Tue, 22 Jul 2014 23-18-49 CMT 


Connection Keep-Alive 
Cache-Control: no-cache 


| HttpwWatch Professional 7.2 


(3) Last-Modified 机 人 制 


后 一 种 浏览 缓存 机 制 为 Last-Modified， 其 原理 是 客户 端 


时 间 戳 判断 客户 端的 文件 是 否 是 最 新 ， 如 不 是 最 新 的 ， 则 返回 新 的 内 容 (HTTP 200) , 


本 地 加 载 文件 了 。 具体 流程 图 如 图 8- 4 所 示 /J\o 
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图 8-3 ”返回 max-age 字 上段 信 息 


过 If-Modified-Since 请 求 头 将 先前 接收 到 服务 器 端 文 件 的 Last-Modified 时 间 戳 信息 进行 发 送 
如 果 是 最 新 的 ， 则 返回 HTTP 304 告 诉 客 户 端 其 本 地 缓存 的 文件 是 最 新 的 ， 
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上 对 验证 ， 通 过 
无 需 重启 下 载 。 于 是 客户 端 就 可 以 直接 从 


Yorserver 实 现 Last-Modified 缓 存 机 制 的 原理 ， 首 先 获取 请 求 头 是 否 包含 Pragma、Cache-Control 字 段 ， 检 查 其 值 是 否 为 no-cache， 表 示 客 户 端 要 求 不 缓存 ， 
回 HTTP 200 状 态 ， 否 则 ， 将 请 求 头 部 If-Modified-Since 字 段 与 服务 器 端 文件 mtime (最 后 更 新 时 间 ) 进行 


如 “Ctrl+F5” 组 合 键 ， 将 返 


Modified”， 不 匹配 则 返回 “HTTP 200”， 实 现 源码 如 下 : 


匹配 【未 更 新 ) 


图 8-4 LastModified 机 制 流程 图 


比较 ， 相 匹配 则 说 明文 件 没有 更 新 ， 将 返回 


常 是 用 户主 动 强制 刷新 页 面 ， 


"HTTP/1.0 304 Not 


B 这 个 


ient cache cc = self 
lient cache p = self.headers.getheader (' Pragma' ) 
"UPS [ £-Modi fied-Sinceffi, 
Modified Since- self.headers.get 
# 过 滤 用 户 强 制 刷新 的 场景 ， 将 返回 HTTP 
if client cache cc--'no-cache' 
(client cache cc--None and cl 
client modified-None 
LSE; 
try: HIRA AN FJA V AE 
client modi{ 
except: 
client modified=None 
# 将 文件 mtime 时 间 和 格式 转 为 Last-Modifiegd 格 式 ， 如 “Mon， 29 
file last modified=self.date time string (fs.st mtime) 


theader ('I 
200 状 态 


请 求 异 常 
fied = T MN £3 


') 


.headers.getheader ('Cache-Control') 
# 获 取 请 求 头 Pragma 值 
以 便 与 服务 器 端 文件 ntime 进 行 比较 
f-Modified-Since') 

> ， 否则 获取 If-Modified-Since 值 

or client cache p--'no-cache' or \ 

ient | cache | p--None and Modified Since--None) : 


[0] 


# 获 取 请 求 头 Cache-Control 值 


Dec 2008 16: 51: 22 GMI” 


if client modified--file last modified: HUEEIE-Modi 
self.send response (304) # 匹 配 则 返回 304 状 态 


Fied-Since 与 文件 mtime 值 


self.end headers () 
BARES 
f.send response (200) # 不 匹配 则 返回 200 状 态 
说 文生 Tast-Moaified 返 加 
self.send header ('Last-Modified', file last modified) 
self.send header ('Cache-Control', cache control) 
se] f.send header ('Expires', expiration) 
self.send header ('Content-type', content type) 


客户 端 请 求 及 响应 效果 如 图 8-5 所 示 ， 当 文件 没有 发 生 更 新 时 返回 “HTTP/1.0 304 Not Modified" 状态 ， 当 手工 修改 文件 ， 使 文件 mtime 发 生 改 变 时 ， 将 返回 “HTTP 200" 状态 。 
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Dorvar: CYoxGg ruri. D 
Date: Fri, 


P/l.0 304 Hort Modified | 


l8 Jul Z014 14:03:54 GHI 


URL 


hip 192-158. 1. 23 índexz. html 

htip://192. 158. 1. 20/style.css 

htip:f//192. 168. 1. 20/mages/gtap.aif 

htip://192. 168. L 20 /mages/gbat. gif 

htp://182.158. 1. 20 Ámagez/banrer.jpg 

htip://152. 163, 1, 20 Ámages/big phots.jpg 

htip;//v 7. ez cum/stat.phpzid 2 1535408web id=15554 T 
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图 8-5 返回 304 状 态 信息 


8.2.2 HTTP 压缩 功能 


启用 HTTP 内 容 压 缩 ， 可 为 我 们 节省 不 少 带宽 成 本 ， 并 且 也 可 以 加 快 网 页 访问 速度 ， 提 升 用 户 体验 。 目 前 主流 的 浏览 器 都 支持 客户 端 解压 功能 ，Yorserver 服 务 器 端 采 用 gzip 压 缩 机 制 ， 其 原理 是 在 文件 
传输 之 前 ， 先 使 用 gzip 压 缩 后 再 传输 给 客户 端 ， 客 户 端 接收 之 后 再 由 浏览 器 解压 显示 ， 这 样 昌 然 稍 微 占用 了 一 些 服 务 器 和 客户 端的 CPU 资源 ， 但 是 换 来 的 是 更 高 的 带宽 利用 率 。 对 于 纯 文 本 (html. css, js 
“1” 压 缩 比 最 小 处 理 速 度 最 快 ，“9” 压 缩 比 最 大 但 处 理 速 度 最 慢 ， 损 耗 CPU 资 源 。 


等 ) 来 讲 ， 效 果 非 常 显著 。Yorserver 压 缩 配置 选项 如 下 ， 其 中 compressleve| 为 压缩 比 ， 其 值 为 1~9， 


[gzip] 
# gzip: Enable (on) or Disable (off) gzip options. 
gzip-"on" 

f configure compress level (1-9) 

compresslevel-9 


关于 实现 HTTP 内 容 压缩 的 方法 ， 需 要 加 载 gzip、cStringIO 两 个 模块 ，gzip 实 现 内 容 的 压缩 功能 ，cStringlO 的 作用 是 操作 内 存 文件 ， 读 取 磁 盘 文 件 内 容 写 入 内 存 文件 ， 再 做 压缩 处 理 ， 最 后 输出 压缩 后 


的 内 容 返 回 给 客户 端 ， 详 细 源 码 如 下 : 


M Eq 参数 buf 为 文件 内 容 ， compresslevel 为 压缩 比 
compressBuf (buf, compresslevel) : 

import gzip, cStringlO 
zbuf = cStringlIO.StringIO () # 创 建 一 个 内 存 流 文件 对 象 
# 创 建 一 个 gzip 文 件 对 象 


zfile.write (buf) # 写 入 文件 压缩 内 容 


zfile.close O 


return zbuf.getvalue () # 返 回 压缩 内 容 

f = open (DocumentRoot + sep + self.path) 

lf gzip=="on": # 开 局 gzip 选 项 则 调用 压缩 方法 compressBuf O ， 否 则 直接 读 取 文件 内 容 
compressed content -compressBuf (f.read () , compresslevel) 

else: 
compressed content = f.read O) 


HTTP 内 容 压缩 效果 如 图 8-6 所 示 ，index2.html| 文 件 原始 大 小 为 6104 字 节 ，gzip 压 缩 后 为 1158 个 字 节 


8.2.3 HTTP SSL 功 能 


HTTPS (Hyper Text Transfer Protocol over Secure Socket Layer) 是 以 安全 为 目标 的 HTTP 通 道 


细 内 容 就 需要 SSL (Secure Sockets Layer， 安 全 套 接 层 ) 。 目 前 HTTPSs 广 泛 用 于 互联 网 上 安全 敏感 


zfile = gzip.GzipFile (mode = 'wb', fileobj = zbuf, compresslevel = compresslevel) 


， 压 缩 了 81% 的 内 容 ， 效 果 很 理想 。 


， 可 以 理解 成 HTTP 的 安全 版 ， 即 HTTP 协 议 下 加 入 SSL 层 ，HTTPS 的 安全 基础 是 SSL， 因 此 加 密 的 详 


的 通信 ， 例 如 电 商 在 线 交易 支付 方面 。 
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*Ltitle-Demno page 2/title- 

meta http-equiv-"Content-Type" cnntent-"rext/html: charset-iso-8859-5"» 
*link rel="stylesheet" rype-"texrt/cas" href-"style.cas" /T 

z/head- 


-body- 
zxdiv id-"header"- 
*div id-"meta"- 
za href-"index.html" r1ass-"narr"-Homec/a- | «a href-"£$" class-"marl marr"»Emailc/a* | <a href-"£" rclass-"marl"-Search-cz/i 
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图 8-6 HTTP 压缩 效果 图 


关于 Yorserver 配 置 SSL 的 选项 ， 需 要 修改 监听 端口 为 443， 在 启用 SSL 同 时 需要 指定 私 钥 privatekey 及 证 书 certificate 两 个 选项 ， 具 体 配置 如 下 : 


# port: Allows you to bind yorserver's port, http default 80 and Https 443. 

port-443 

[ssl] 

# ssl: Enable (on) or Disable (off) HTTPS options, port options must configure "443". 
Sssl-"on" 
4 configure privatekey and certificate pem. 
privatekey-"/usr/local/yorserver/key/app.key" 
certificate-"/usr/local/yorserver/key/server.crt" 


具体 的 功能 实现 使 用 了 OpenSSL、SocketServer 两 个 模块 ， 其 中 OpenSSL 负 责 SSL 的 功能 ，SocketServer 负 责 基 础 通信 。 详 细 源 码 如 下 : 


class SecureHTTPServer (HTTPServer) : 
def init (self, server address, |HandlerClass) : 

BaseServer. init (self, server address, HandlerClass) 

ctx = SSL.Context (SSL.SSLv23 METHOD) # 定 义 一 个 SSL 连 接 

ctx.use privatekey file (privatekey) # 指 定 私 钥 文件 

ctx.use certificate file (certificate) # 指 定 证 书 文 件 
self.socket = SSL.Connection (ctx, socket .socket (self.address family, \ 

self.socket type) ) # 创 建 一 个 连接 对 象 ， 参 数 使 用 给 定 的 OpenSSL.SSL.Context 实 例 和 Socket 
self.server bind () Ms Ac JENA 


self.server activate O 


生成 密 铀 与 证 书 可 以 参考 以 下 步 又: 


# 生成 RSA 密 钥 server .key 

# openssl genrsa -des3 -out server.key 1024 

# 复制 一 个 密 钥 文件 app .key《〈 无 需 输 入 密码 ) 

# openssl rsa -in server.key -out app.key 

# 生成 一 个 证 书 请 求 server .cs 

# openssl req -new -key server.key -out server.csr 

# 签发 证 书 server .crt 

# openssl x509 -req -days 365 -in server.csr -signkey server.key -out server.crt 


下 一 步 将 生成 的 密 钥 文 件 app.key、 证 书 文件 server.crt 复 制 到 yorserver.conf 配 置 指 定 路 径 即 可 ， 如 /usr/local/yorserver/key/app.key 与 /usr/local/yorserver/key/server.crt， 最 后 重启 Yorserver 服 
务 ， 效 果 如 图 8-7 所 示 。 
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(Connection: Eeep-Alive 
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图 8-7 SSL 证 书信 息 


8.24 目录 列表 功能 


Web 目 录 列 表 很 直观 地 展示 了 站 点 目录 的 结构 ， 普 遍 应 用 在 文档 及 下 载 服 务 中 ， 当 然 ， 对 安全 级 别 要 求 较 高 的 站 点 ， 建 议 还 是 关闭 此 功能 。Yorserver 支 持 目 录 列 表 功 能 ， 在 配置 中 开启 /关闭 的 方法 如 
T: 


f Indexes: directory list (on/off). 
Indexes-"on" 


实现 的 方法 是 通过 os.listdir () 方法 获取 站 点 目录 (系统 绝对 路 径 ) 列表 ， 通 过 前 端 “<li>”、“<a>”HTML 标 签 格式 化 输出 ， 具 体 实现 源码 如 下 : 


def list directory (self, path) : 
try: 
list = os.listdir (path) # 获 取 当 前 目录 系统 绝对 路 径 列 表 


except os.error: 


self.send error (404, "No permission to list directory") ; 
return None . 
list.sort (lambda a, p (a.lower O , b.lower O ) ) # 不 区 分 大 小 写 对 目录 列表 做 排序 


= StringIO () POTETE CEA 
f.write ("«h2»Directory listing for $s«/h2»Wn" $ self.path) #selLf.path 为 当前 URI 路 径 
.write ("<hr>\n<ul>\n") 
# 答 出 上 一 级 目录 URI 链 接 
.write ('«li»«a href="%s">Parent Directory</a>\n' $ (pubutil.parent dir (self.path) ) ) 
for name in list: # 遍 历 输出 目录 文件 列表 
fullname = os.path. join (path, name) 
displayname = name = cgi.escape (name) #HTMI 字 符 转 义 
if os.path.islink mi 
displayname = name + "Q" 
elif os.path.isdir (fullname) : 
displayname = name + "/" 
name = name + os.sep 
f.write ('«li»«a href-"$s"»$s«/a»Mn' $ (name, displayname) ) 
f.write ("«/ul»Mn«hr» An") 
f.seek (0) 
return f 


目录 列表 效果 如 图 8-8 所 示 。 


8.2.5 ”动态 CGI 功能 


CGI (Common Gateway Interface， 通 用 网 关 接 口 ) 实现 让 一 个 客户 端 从 网 页 浏览 器 向 在 网 络 服务 器 上 的 程序 请 求 数据 。CGI 描 述 了 客户 端 和 服务 器 程序 之 间 传 输 数 据 的 一 种 标准 。 编 写 CGI 程 序 的 
语言 有 Shell、Perl、Python、Ruby、PHP、TCL、C/C++ 等 。Yorserver 支 持 这 些 CG| 程 序 的 调用 ， 需 要 修改 相关 配置 ，cgi_path 参 数 指定 CGI 程 序 的 存放 目录 ， 默 认为 yorserver/bin/cgi-bin 目 录 ， 指 定 
多 个 目录 使 用 “，” 号 分 隔 ; cgi_extensions 人 参数 指定 CGI 程序 扩展 名 支持 ， 详 细 见 下 面 的 配置 : 


[cgim] 

* cgi moudle: Enable (on) or Disable (off) cgi support. 

cgi moudle-"on" 

# cgi path: configure cgi path, multiple cgi path use ', ' delimited, cgi path in bin directory. 
cgi path-'/cgi-bin', 

# cgi extensions: configure cgi file extension. 

eol extensions-" ('.cgi', 'py'. '.pl', ';php'o " 


^ £i 192.168.1.20 x ing 
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Parent Directory 
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index2 html 
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CA Find [Ùb Export — 384 bytes received by 192. 168. 1. 103:50939 CA Find [$ Export 
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HTTE/1.0 züü OK 
Accept- text/html, application/xhtml4xml, */* E Server: YorServerl.D 


Beer / HITP/1.1 

E neterer: http-//197.1688 l1.20/imagea/ Date: Sat, 195 Jul 2014 09-54-33 GMI 
| &seept-Language: zh-CH Content-type: text/html 

| User-Agent: Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 5.1; 1] 

$ ||Accept-Encoding: gzip, deflate thż>Directory listing for /—/h2- 


-- - = omm = mm = m m 


hr> 


Yorserver 采 用 CGIHTTPServer 模 块 来 实现 CGI 支持 ， 其 CGIHTTPRequestHandler 类 继承 了 SimpleHTTPRequestHandler 类 ， 因 此 ， 该 类 除了 可 以 执行 CGI 程序 外 还 支持 静态 文件 服务 。 另 外 在 主 服务 
类 中 需要 继承 CGIHTTPRequestHandler 基 类 ， 例 如 : class ServerHandler (CGIHTTPRequestHandler) ， 其 他 实现 源码 如 下 : 


CGIHTTPRequestHandler.cgi directories = cgi path # 指 定 CGI 路 径 


if cgi moudle--"on" and self.path.endswith (cgi extensions) : # 开 启 CGI 且 在 配置 
# 扩 展 名 列表 中 . 
return CGIHTTPRequestHandler.do GET (self) # 调 用 cgi do GET O 方法 ， 返 回执 行 结果 


下 面 列举 Python 与 PHP CGI 实现 冒 泡 排序 法 的 示例 。 代 码 如 下 : 


[bin/cgi-bin/index.py] 


#! /usr/bin/env python 
#coding=utf-8 
print "Content-type: text/html\n\n"; 
print "<html><head><title>Python 冒 泡 排 序 测试 </title></head><body>" 
my list = [23, 45, 67, 3, 56, 82, 24, 23, 5, 77, 19, 33, 51, 99] 
def bubble (bad list): 
length = len (bad list) - 1 
sorted = False 
while not sorted: 
sorted = True 
for i in range (length) : 
if bad list[i] > bad list[i+1]: 
sorted = False 
bad list[i], bad list[i+1] = bad list[i+1], bad list[i] 
bubble (my list) ` m T E 
print my list 
print "«/body»«/html»" 


执行 结果 如 图 8-9 所 示 。 
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图 8-9 Python CGI 运行 


[bin/cgi-bin/index.php] 


#! /usr/bin/env php 

«? php 

echo "Content-type:  text/htmlWMnWMn"; 

echo "«html»«head»«title»PHPHJIBHEP JI «/title»«/head»«body»«pre»"; 

function bubble (array $array) ( 

for ($i=0, S$len=count ($array) -1; 

for ($j=$len; $j>$i; --$j) { 
if ($array[$j] < $array[$j-1]) 
{ 


Si«$len; ++$i) { 


$temp = $array[$j]; 
Sarray[$j] = Ş$array[$j-1]; 
Sarray[$j-1] = $temp; 


} 
} 
return $array; 


} 


print r (bubble (array (23, 45, 67, 3, 56, 82, 24, 23, 5, 77, 19, 33, 51, 99) 2 2 ; 


echo "«/pre»«/body»«/html»"; 
? > 


执行 结果 如 图 8-10 所 示 。 
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图 8-10 PHP CGI 运行 结果 图 


第 9 章 ”集中 化 管理 平台 Ansible 详 解 


Ansible (http://www.ansibleworks.com/) 一 种 集成 上 T 系 统 的 配置 管理 、 应 用 部 署 、 执 行 特定 任务 的 开源 平台 ， 是 AnsibleWorks 公 司 名 下 的 项 目 ， 该 公司 由 Cobbler 及 Func 的 作者 于 2012 年 创建 成 
立 。Ansible 基 于 Python 语言 实现 ， 由 Paramiko 和 PyYAML 两 个 关键 模块 构建 。Ansible 具 有 如 下 特点 : 


. 部 署 简单 ， 只 需 在 主 控 端 部 署 Ansible 环 境 ， 被 控 端 无 需 做 任何 操作 ; 

- 默认 使 用 SSH (Secure SHell) 协议 对 设备 进行 管理 ; 

. 主 从 集中 化 管理 ; 

- 配置 简单 、 功 能 强大 、 扩 展 性 强 ; 

| 支持 API 及 自 定 义 模块 ， 可 通过 Python 轻松 扩展 ; 

: 通过 Playbooks 来 定制 强大 的 配置 、 状 态 管理 ; 

“ 对 云 计算 平台 、 大 数据 都 有 很 好 的 支持 ; 

- 提供 一 个 功能 强大 、 操 作 性 强 的 Web 管 理 界面 和 REST API 接 口 一 一 AWX 平 台 。 


Ansible 的 架构 图 见 图 9-1， 用 户 通过 Ansible 编 排 引 擎 操作 公共 /私有 云 或 CMDB (配置 管理 数据 库 ) 中 的 主机 ， 其 中 Ansible 编 排 引 警 由 Inventory (主机 与 组 规则 ) . API, Modules (模块 ) 、 
Plugins (插件 ) 组 成 。 


Ansible 与 Saltstack 最 大 的 区 别 是 Ansible 无 需 在 被 控 主 机 部 署 任何 客户 端 代理 ， 默 认 直 接 通 过 ssH 通 道 进 行 远程 命令 执行 或 下 发 配置 ; 相同 点 是 都 具备 功能 强大 、 灵 活 的 系统 管理 、 状 态 配置 ， 都 使 用 
YAML 格 式 来 描述 配置 ， 两 者 都 提供 丰富 的 模板 及 APl， 对 云 计 算 平台 、 大 数据 都 有 很 好 的 支持 。Ansible 在 GitHub 上 的 地 址 为 https://github.com/ansible/， 其 中 提供 了 不 少 配置 例子 供 参 考 ， 本 文 测试 的 
版 本 为 1.3.2。 
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Ansible 架 构图 


Qi Ansible 提 供 了 一 个 在 线 Playbook 分 享 平台 ， 地 址 : https://galaxy.ansibleworks.com， 该 平台 汇聚 了 各 类 常用 功能 的 角色 ， 找 到 适合 自己 的 Role (角色 ) 后 ， 只 需要 运行 “ansible-galaxy install 作 者 id. 


角色 包 名 称 ” 就 可 以 安装 到 本 地 ， 比 如 想 安装 bennojoy 提 供 的 Nginx 安 装 与 配置 的 角色 ， 直 接 运行 “ansible-galaxy install bennojoy.nginx” 即 可 安装 到 本 地 ， 该 角色 的 详细 地 址 为 : 


https://galaxy.ansibleworks.com/list#/roles/2。 


g.i 


为 了 方便 读者 更 系统 化 地 了 解 Ansible 的 技术 点 ， 本 章 将 针对 相关 技术 点 进行 详细 展开 介绍 。 
YAML 语 言 


YAML 是 一 种 用 来 表达 数据 序列 的 编程 语言 ， 它 的 主要 特点 包括 : 可 读 性 强 、 语 法 简单 明了 、 支 持 丰富 的 语言 解析 库 、 通 用 性 强 等 。Ansible 与 Saltstack 环 境 中 配置 文件 都 以 YAML 格 式 存 在， 熟悉 
YAML 结 构 及 语法 对 我 们 理解 两 环境 的 相关 配置 至 关 重 要 。 下 面 的 示例 定义 了 在 master 的 不 同业 务 环境 下 文件 根 路 径 的 描述 : 


file roots: 
base: 
- /srv/salt/ 
dev: 
- /srv/salt/dev 
prod: 
- /srv/salt/prod 


本 节 主 要 通过 YAML 描 述 与 Python 的 对 应 天 系 ， 从 而 方便 读者 了 解 YAML 的 层次 及 结构 ， 最 


示例 详细 说 明 。 
9.1.1. 块 序列 摘 述 


常见 的 是 映射 到 Python 中 的 列表 (List) 、 字 典 (Dictionary) 两 种 对 象 类 型 。 下 面 通 过 块 序列 与 块 映射 的 


块 序列 就 是 将 描述 的 元 素 序列 到 Python 的 列表 (List) 中 。 以 下 代码 演示 了 YAML 与 Python 的 对 应 关系 : 


import yaml 

obj-yaml.1load ( 
Www 
- Hesperiidae 
- Papilionidae 
- Apatelodidae 


- Epiplemidae 


"unm 


print obj 


本 例 中 引用 “-” 来 分 隔 列表 中 的 每 个 元 素 ， 运 行 结果 如 下 : 


['Hesperiidae', 'Papilionidae', 


YAML 也 存在 类 似 于 Python 块 的 概念 ， 


'Apatelodidae', 


例如 : 


Epiplemidae'] 


Hesperiidae 
Papilionidae 
Apatelodidae 
Epiplemidae 


- China 
- USA 
- Japan 


对 应 的 Python 结果 为 : 


'Epiplemidae'], ['China', 'USA', 'Japan']] 


[['Hesperiidae', 'Papilionidae',. "'Apatelodidae', 


- 


-— 


.2 ERAS 


块 映射 就 是 将 描述 的 元 素 序列 到 Python 的 字典 (Dictionary) 中 ,格式 为 “ 键 (key) : f& (value) ”， 以 下 为 YAML 例 子 : 


hero: 
hp: 34 
Sp: 8 
level 4 
Ge 
hp: 12 
Sp: 0 
level: 2 
对 应 的 Python 结果 为 : 


('hero': ('hp': 34, 'sp': 8, 'level': 4}, 'orc': ('hp': 12, 'sp': 0, 'level': 2}} 


7A, YAMRAJ TRBAS zen LAE ERÉR OS GE—REEBS, TZIBIRHLUBEBERE, AERE, WILATSBUS RAS ESDRESZRBUXIS SE, DURD: 


对 应 的 Python 结果 为 : 


[('hero': ('hp': 34, 'sp': 8, 'level': 4]j, ('orc': ('hp': [12 30]; 'sp': 0 "level"; 2]]] 


92 Ansible 的 安装 
Ansible 只 需 在 管理 端 部 署 环境 即 可 ， 建 议 读 者 采用 yum 源 方式 来 实现 部 署 ， 下 面 介 绍 具体 步 


9.2.1 ”业务 环境 说 明 


为 了 方便 读者 理解 ， 笔 者 通过 虚拟 化 环境 部 署 了 两 组 业务 功能 服务 器 来 进行 演示 。 笔 者 的 操作 系统 版 本 为 CentOs release 6.4， 自 带 Python 2.6.6。 相 关 服 务 器 信息 如 表 9-1 所 示 (CPU 核 数 及 Nginx 根 
目录 的 差异 化 是 为 方便 演示 生成 动态 配置 需要 ) : 


表 9-1 业务 环境 表 


TE E 


minion SN2013-08-021 192.168.1.21 rebservers ! /data 
minion SN2013-08-022 192.168.1.22 r'ebservers 2 /data 


9.2.2 ”安装 EPEL 
由 于 目前 RHEL 官 网 的 yum 源 还 没有 得 到 Ansible 的 安装 包 支 持 ， 因 此 先 安装 EPEL 作 为 部 署 Ansible 的 默认 yum 源 。 
- RHEL (CentOS) 5 版 本 : rpm-Uvh http:/ /mirror.pnl.gov/epel/5/1386/epel-release-5-4.noarch.rpm 
- RHEL (CentOS) 6 版 本 : rpm-Uvh http://ftp.linux.ncsu.edu/pub/epel/6/1386/epel-release-6-8.noarch.rpm 
9.2.3 ”安装 Ansible 
主 服务 器 安装 ( 主 控 端 ) ， 代 码 如 下 : 


#yum install ansible -y 


9.24 Ansible 配 置 及 测试 


第 一 步 是 修改 主机 与 组 配置 ， 文 件 位 置 /etc/ansible/hosts， 格 式 为 ini， 添 加 两 台 主 机 IP， 同 时 定义 两 个 IP 到 webservers 组 ， 更 新 的 内 容 如 下 : 


[/etc/ansible/hosts] 


fgreen.example.com 
folue. example.com 
192.168. 1.21 
192.168.1.22 
[webservers] 


#alpha .example .org 
#beta.example.org 
192.168.1.21 


192.168.1.22 


通过 ping 模 块 测试 主机 的 连通 性 ， 分 别 对 单 主机 及 组 进行 ping 操 作 ， 出 现 如 图 9-2 所 示 的 结果 表示 安装 、 测 试 成 功 。 


|[root8SN2013-08-020 -]£ ansible 197.168.1.21 -m ping -k 
[SSH password: 
197.168.1.71 | success = i1 

"changed": false, 

"ping : "pong 


[roote5N2013-08-0270 ~|# ansible webservers -m ping -k 
SSH password: 
192.168.1.21 | success 

“changed”: false, 

"ping : pong 


"changed": false, 
"ping "pong" 


图 9-2 ”测试 主机 连通 性 


提示 “由 于 主 控 端 与 被 控 主 机 未 配置 SSH 证 书信 任 ， 需 要 在 执行 ansible 命 令 时 添加 参数 ， 要 求 提供 root (默认 ) 账号 密码 ， 即 在 提示 “SSH password: ”时 输入 。 很 多 人 更 倾向 于 使 用 Linux 普 通用 户 


账户 进行 连接 并 使 用 sudo 命 令 实现 tfoot 权 限 ， 格 式 为 : ansible websetvers-m ping-u ansible-sudo。 


O2L ]pe21|in wy AMISSHJ-ZZZa3EIB 
92.5 ”配置 Linux 主 机 SSH 无 密码 访问 


为 了 避免 Ansible 下 发 指令 时 输入 目标 主机 密码 ， 通 过 证 书签 名 达到 SSH 无 密码 是 一 个 好 的 方案 ， 推 荐 使 用 ssh-keygen 与 ssh-copy-id 来 实现 快速 证 书 的 生成 及 公 钥 下 发 ， 其 中 ssh-keygen 生 成 一 对 密 
钥 ,使 用 ssh-copy-id 来 下 发 生成 的 公 钥 。 具 体操 作 如 下 。 


在 主 控 端 主机 (SN2013-08-020) 创建 密 钥 ， 执行 : ssh-keygen-t rsa， 有 询问 直接 按 回 车 键 即 可 ， 将 在 /root/.ssh/ 下 生成 一 对 密 钥 ， 其 中 id_rsa 为 私 钥 ，id_rsa.pub 为 公 钥 (需要 下 发 到 被 控 主 机 用 
户 .ssh 目 录 ， 同 时 要 求 重 命名 成 authorized_keys 文 件 ) 。 


Generating public/private rsa key pair. 


Enter file in which to save the key (/root/.ssh/id rsa): “【〔 回 车 ) 
Enter passphrase (empty for no passphrase): (HÆ) 
Enter same passphrase again:  ( 回 车 ) 


Your identification has been saved in /root/.ssh/id rsa. 
Your public key has been saved in /root/.ssh/id rsa.pub. 
The key fingerprint is: 
8d: £0: 47: c6: b9: 55: 5b: c0: 0e: 04: ec: e2: 9c: 38: f6: 84 root@SN2013-08-020 

The key's randomart image is: 

*--[ RSA 2048]----- 

http: //www.hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressed/14964/OEBPS/Text/..ohttp://www.hzcourse.com/resource/readBook?path-/openresourc 
http: //www.hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressed/14964/OEBPS/Text/..http://www.hzcourse.com/resource/readBook?path-/openresource 


接 下 来 同步 公 钥 文 件 id_rsa.pub 到 目标 主机 ， 推 荐 使 用 ssh-copy-id 公 铀 拷贝 工具 ， 命 令 格式 : /usr/bin/ssh-copy-id[-ilidentity filellluser@jmachine。 本 示例 中 我 们 输入 以 下 命令 同步 公 铀 至 
192.168.1.21 和 192.168.1.22 主 机 。 


#ssh-copy-id -i /root/.ssh/id rsa.pub root8192.168.1.21 
tssh-copy-id -i /root/.ssh/id rsa.pub root8192.168.1.22 


校 验 SSH 无 密码 配置 是 否 成 功 ， 运 行 ssh root@ 192.168.1.21， 如 直接 进入 目标 root 账 号 提示 符 ， 则 说 明 配 置 成 功 。 


9.3 ”定义 主机 与 组 规则 
Ansible 通 过 定义 好 的 主机 与 组 规则 (Inventory) 对 匹配 的 目标 主机 进行 远程 操作 ， 配 置 规则 文件 默认 是 /etc/ansible/hosts。 


9.3.1 定义 主机 与 组 


所 有 定义 的 主机 与 组 规则 都 在 /etc/Ansible/hosts 文 件 中 ， 为 ini 文 件 格式 ， 主 机 可 以 用 域名 、IP、 别 名 进行 标识 ， 其 中 webservers、dbservers 为 组 名 ， 紧 跟着 的 主机 为 其 成 员 。 格 式 如 下 : 


mail.example.com 
192.168.1.21: 2135 
[webservers] 
foo.example.com 
bar.example.com 
192.168.1.22 
[dbservers] 
one.example.com 
two.example.com 
three.example.com 
192.168.1.23 


其 中 ，192.168.1.21: 2135 的 意思 是 定义 一 个 SSH 服 务 端口 为 2135 的 主机 ， 当 然 我 们 也 可 以 使 用 别名 来 描述 一 台 主 机 ， 如 : 


jumper ansible ssh port-22 ansible ssh host-192.168.1.50 


jumper 为 定义 的 一 个 别名 ，ansible_ssh_port 为 主机 SSH 服 务 端口 ，ansible_ssh_host 为 目标 主机 ， 更 多 保留 主机 变量 如 下 : 
.ansible_ssh_host， 连 接 目 标 主 机 的 地 址 。 
.ansible_ssh_potrt， 连 接 目标 主机 SSH 端 口 ， 端 口 22 无 需 指 定 。 
- ansible_ssh_usef， 连 接 目标 主机 默认 用 户 。 
.ansible_ssh_pass， 连 接 目 标 主机 默认 用 户 密码 。 
.ansible_connection， 目 标 主机 连接 类 型 ， 可 以 是 local、ssh 或 paramiko。 


.ansible_ssh_ptivate_key_file 连 接 目 标 主机 的 ssh 私 钥 。 


 ansible * intetptetef， 指 定 采 用 非 Python 的 其 他 脚本 语言 ， 如 Ruby、Petl 或 其 他 类 似 ansible_python_intetprtetet 解 释 器 。 


组 成 员 主机 名 称 支持 正则 描述 ， 示 例如 下 : 


[webservers] 

www[01: 50].example.com 
[databases] 

db-[a: f£].example.com 


9.3.2 ”定义 主机 变量 


主机 可 以 指定 变量 ， 以 便 后 面 供 Playbooks 配 置 使 用 ， 比 如 定义 主机 hosts1 及 hosts2 上 Apache 参 数 http_port 及 maxRequestsPerChild， 目 的 是 让 两 台 主 机 产生 Apache 配 置 文件 httpd.conf 差 异化 ， 
定义 格式 如 下 : 


[atlanta] 
hostl http port-80 maxRequestsPerChild-808 
host2 http port-303 maxRequestsPerChild-909 


9.3.3 ”定义 组 变量 


组 变量 的 作用 域 是 覆盖 组 所 有 成 员 ， 通 过 定义 一 个 新 块 ， 块 名 由 组 名 + ": vars” 组 成 ， 定 义 格式 如 下 : 


[atlanta] 
hostl 
host2 
[atlanta: vars] 

ntp server-ntp.atlanta.example.com 
proxy-proxy.atlanta.example.com 


同时 Ansible 支 持 组 谋 套 组 ， 通 过 定义 一 个 新 块 ， 块 名 由 组 名 +“: children" 组成， 格式 如 下 : 


[southeast: children] 


some server-foo.southeast.example.com 
halon system timeout-30 


self destruct countdown-60 


[usa: children] 


Qi 能 套 组 只 能 使 用 在 /ust/binV/ansible-playbook 中 ， 在 /usr/binV/ansible 中 不 起 作用 。 


9.3.4 分离 主机 与 组 特定 数据 


为 了 更 好 规范 定义 的 主机 与 组 变量 ，Ansible 支 持 将 /etc/ansible/hosts 定 义 的 主机 名 与 组 变量 单独 剥离 出 来 存放 到 指定 的 文件 中 ， 将 采用 YAML 格 式 存放 ， 和 存放 位 置 规 
定 : “/etc/ansible/group_vars/+ 组 名 ”和 “/etc/ansible/host_vars/+ 主 机 名 ”分 别 存放 指定 组 名 或 主机 名 定义 的 变量 ,例如 : 
/etc/ansible/group vars/dbservers 


/etc/ansible/group vars/webservers 
/etc/ansible/host vars/foosball 


定义 的 dbservers 变 量 格式 为 : 


[/etc/ansible/group vars/dbservers] 


ntp server: acme.example.org 
database server: storage.example.org 


Qi 在 Ansible 1.2 及 以 后 版 本 中 ，gtoup_vats/ 和 host_vats/ 目录 可 以 保存 在 playbook 目 录 或 inventoty 目 录 ， 如 同时 存在 ，invenhtoty 目 录 的 优先 级 高 于 playbook 目 录 的 。 


9.4 ”匹配 目标 


在 9.3 节 中 已 经 完成 主机 与 组 的 定义 ， 本 节 将 讲解 如 何 进行 目标 (Patterns) 匹配 ， 格 式 为 : ansible«pattern goes here» -m«module name>-a<arguments>。 举 例 说 明 : 重启 webservers 组 的 所 


-LZU 


有 Apache 服 务 。 


ansible webservers -m service -a "name-httpd state-restarted" 


本 节 将 重点 介绍 < pattern_goes _here> 参 数 的 使 用 方法 ， 详 细 规 则 及 含义 见 表 9-2。 


表 9-2 ”匹配 目标 主机 规则 表 


规 fii £ M 
192.198.1.2 或 one.example.com 匹配 目标 IPGUdHEpsk EDI. A PRESLA EH UD" arh 
webservers 匹配 目标 组 为 webservers, T :2HISHD “:” vor 
All 或 ”+*， 匹配 目标 所 有 主机 
~(webldb).*\.example\.com 或 192.168.1.* 变 持 正则 表达 方 匹 配 主机 或 IP 地 址 
webservers:!192.168.1.22 匹配 webservers 组 有 是 排除 192.168.1.22 主机 IP 
webservers:&dbservers 匹配 webservers 与 dbservers MPFR ASTE 
webservers:! f {excluded} }:& | {required} } 区 持 变 量 匹配 方式 


9.5 Ansible 常 用 模块 及 API 


Ansible 提 供 了 非常 丰富 的 功能 模块 ， 包 括 Cloud ( 云 计 算 ) Commands (命令 行 ) . Database (数据 库 ) . Files (文件 管理 ) 、Internal (内 置 功能 ) . Inventory (资产 管理 ) 、Messaging (Ñ 
息 队 列 ) 、Monitoring (监控 管理 ) 、Net Infrastructure (网 络 基 础 服务 ) 、Network (网 络 管理 ) 、Notification (通知 管理 ) 、Packaging ( 包 管 理 ) 、Source Control (版 本 控制 ) 、System ( 系 
HRZ) . Utilities (公共 服务 ) 、Web Infrastructure (Web 基 础 服务 ) ， 等 等 ， 更 多 模块 介绍 见 官 网 模块 介绍 (Wik: http://ansibleworks.com/docs/modules.html) 。 模 块 默认 存储 目录 
为 /usr/share/ansible/， 和 存储 结构 以 模块 分 类 名 作为 目录 名 ， 模 块 文件 按 分 类 存放 在 不 同类 别 目录 中 。 命 令 行 调用 模块 格式 : ansible<pattern_goes_here (操作 目标 ) >-m<module_name (模块 
名 ) »-a«module args (模块 参数 ) > ， 其 中 默认 的 模块 名 为 command， 即 “-m command” 可 省 略 。 获 取 远 程 webservers 组 主机 的 uptime 信 息 格式 如 图 9-3 所 示 。 


[roote5N2015-085-070 ~] ansible webservers -m command -a "uptime" 
192.168.1.22 | success | rc=0 
3:20 up 31 min, 1 user, load average: 0.00, 0.00, 0.00 


| success | rc-8 => 
12:41, 1 user, load average: 


图 9-3 ”获取 主机 “uptime” 信 息 


以 上 命令 等 价 于 ansible webservers-a"uptime" ， 获 得 模块 的 帮助 说 明 信 息 格式 : ansible-doc< 模 块 名 >， 得 到 ping 模 块 的 帮助 说 明 信 息 如 图 9-4 所 示 。 


[root8SN2013-08-020 ~]# ansible-doc ping 
= PING 


A trivial test module, this module always returns “pong on 
successful contact. It does not make sense in playbooks, but 1t 1s 


useful from "/usr/bin/ansible' 


# [est 'webservers' status 
ansible webservers -m ping 


图 9-4 ”bing 模 块 帮助 信息 


在 playbooks 中 运行 远程 命令 格式 如 下 : 


- name: reboot the servers 
action: command /sbin/reboot -t now 


Ansible 0.8 或 以 上 版 本 支持 以 下 格式 : 


- name: reboot the servers 
command:  /sbin/reboot -t now 


Ansible 提 供 了 非常 丰富 的 模块 ， 涉 及 日 常 运 维 工作 的 方方面面 。 下 面 介绍 Ansible 的 常用 模块 ， 更 多 模块 介绍 见 官方 说 明 。 
1. 远 程 命令 模块 
(1) 功能 


模块 包括 command、script、shell， 都 可 以 实现 远程 shell 命 令 运行 。command 作 为 Ansible 的 默认 模块 ， 可 以 运行 远程 权限 范围 所 有 的 shell 命 令 ; script 功 能 是 在 远程 主机 执行 主 控 端 存储 的 shell 脚 
本 文件 ， 相 当 于 scp+shell 组 合 ; shell 功 能 是 执行 远程 主机 的 shell 脚 本 文件 。 


(2) 例子 


ansible webservers -m command -a "free -m" 
ansible webservers -m script -a "/home/test.sh 12 34" 
ansible webservers -m shell -a "/home/test.sh" 


2.copy 模 块 
(1) 功能 
实现 主 控 端 向 目标 主机 拷贝 文件 ， 类 似 于 scp 的 功能 。 
(2) 例子 


以 下 示例 实现 拷贝 /home/test.sh 文 件 至 webserver 组 目标 主机 /tmp/ 目 录 下 ， 并 更 新 文件 属 主 及 权限 (可 以 单独 使 用 file 模 块 实现 权限 的 修改 ， 格 式 为 : path-/etc/foo.conf owner=foo group=foo 
mode=0644) 。 


ansible webservers -m copy -a "src-/home/test.sh dest-/tmp/ owner-root group-root mode-0755" 


3.stat 模 块 
(1) 功能 
获取 远程 文件 状态 信息 ， 包 括 atime、ctime、mtime、md5、uid、gid 等 信息 。 


(2) 例子 


ansible webservers -m stat -a "path-/etc/sysctl.conf" 


4.get url 
(1) 功能 
实现 在 远程 主机 下 载 指定 URL 到 本 地 ， 支 持 sha256sum 文 件 校 验 。 


(2) 例子 


ansible webservers -m get url -a "url-http: //www.baidu.com dest-/tmp/index.html mode-0440 force-yes" 


5.yum 模 块 


(1) 功能 


Linux 平 台 软 件 包 管理 操作 ， 常 见 有 yum、apt 管 理 方式 。 


(2) 例子 


ansible webservers -m apt -a "pkg-curl state-latest" 
ansible webservers -m yum -a "name-curl state-latest" 


6.cron t th 
(1) 功能 
远程 主机 crontab 配 置 。 


(2) 例子 


ansible webservers -m cron -a "name-'check dirs' hour-'5, 2' job-'ls -alh > /dev/null'" 


效果 如 下 : 


#Ansible: check dirs 
* 5, 2 * * * 1s -alh > /dev/nullsalt '*' file.chown /etc/passwd root root 


7.mount 模 块 
(1) 功能 
远程 主机 分 区 挂 载 。 


(2) 例子 


ansible webservers -m mount -a "name-/mnt/data src=/dev/sd0 fstype=ext3 opts-ro state-present" 


8.service 模 块 
(1) 功能 
远程 主机 系统 服务 管理 。 


(2) 例子 


ansible webservers -m service -a "name-nginx state-stopped" 
ansible webservers -m service -a "name-nginx state-restarted" 
ansible webservers -m service -a "name-nginx state-reloaded" 


9.sysctl 包 管理 模块 
(1) 功能 
远程 Linux 主 机 sysct| 西 置 。 


(2) 例子 


sysctl: name-kernel.panic value-3 sysctl file-/etc/sysctl.conf checks-before reload-yessalt '*' pkg.upgrade 


10.user 服 务 模 块 
(1) 功能 
远程 主机 系统 用 户 管理 。 


(2) 例子 


HRIH J 3ohnd: 
ansible webservers -m user -a "name=johnd comment='John Doe'" 
# 删 除 用 户 Johng; 


ansible webservers -m user -a "name-johnd state-absent remove-yes" 


Qi Playbooks 模 块 调 用 格式 如 下 ， 以 command 模 块 为 例 (0.8 或 更 新 版 本 格式 ) : 
-name: teboot the servets 


command: /sbin/reboot-t now 


9.6 playbook 介 绍 


playbook 是 一 个 不 同 于 使 用 Ansible 命 令 行 执行 方式 的 模式 ， 其 功能 更 强大 灵活 。 简 单 来 说 ，playbook 是 一 个 非常 简单 的 配置 管理 和 多 主机 部 署 系统 ， 不 同 于 任何 已 经 存在 的 模式 ， 可 作为 一 个 适合 音 
署 复 杂 应 用 程序 的 基础 。playbook 可 以 定制 配置 ， 可 以 按 指定 的 操作 步骤 有 序 执行 ， 支 持 同步 及 异步 方式 。 官 方 提供 了 大 量 的 例子 ， 可 以 在 https://github.com/ansible/ansible-examples 找 到 。 
playbook 是 通过 YAML 格 式 来 进行 描述 定义 的 ， 可 以 实现 多 台 主 机 应 用 的 部 署 ， 定 义 在 webservers 及 dbservers 组 上 执行 特定 指令 步骤 。 下 面 为 读者 介绍 一 个 基本 的 playbook 示 例 : 


[/home/test/ansible/playbooks/nginx.yml] 


- hosts: webservers 
Vars: 

Worker processes: 4 
num cpus: 4 
max open file: 65506 
root: /data 
remote user: root 
tasks: 
- name: ensure nginx is at the latest version 
yum: pkg-nginx state-latest 
- name: write the nginx config file 
template:  src-/home/test/ansible/nginx/nginx2.conf dest-/etc/nginx/nginx.conf 
notify: 

- restart nginx 
- name: ensure nginx is running 
Service: name-nginx state-started 
handlers: 

- name: restart nginx 

Service: name-nginx state-restarted 


以 上 playbook 定 制 了 一 个 简单 的 Nginx 软 件 包 管 理 ， 内 容 包括 安装 、 配 置 模板 、 状 态 管理 等 。 下 面 详 细 对 该 示例 进行 说 明 。 


9.6.1 定义 主机 与 用 户 
在 playbook 执 行 时 ， 可 以 为 主机 或 组 定义 变量 ， 比 如 指定 远程 登录 用 户 。 以 下 为 webservers 组 定义 的 相关 变量 ， 变 量 的 作用 域 只 限于 webservers 组 下 的 主机 。 


- hosts: webservers 
Vars: 
worker processes: 4 
num cpus: 4 
max open file: 65506 
root: /data 
remote user: root 


hosts 参 数 的 作用 为 定义 操作 的 对 象 ， 可 以 是 主机 或 组 ， 具 体 定义 规则 见 9.3.1 节 内 容 。 本 示例 定义 操作 主机 为 webservers 组 ， 同 时 通过 vars 参 数 定 义 了 4 个 变量 (配置 模板 用 到 ) ， 其 中 remote_user 为 
指定 远程 操作 的 用 户 名 ， 默 认为 root 账 号 ， 支 持 sudo 方 式 运 行 ， 通 过 添加 sudo: yes 即 可 。 注 意 ，remote_user 人 参数 在 Ansible 1.4 或 更 高 版 本 才 引 入 。 


9.6.2 ”任务 列表 


所 有 定义 的 任务 列表 (tasks list) ，playbook 将 按 定 义 的 配置 文件 自 上 而 下 的 顺序 执行 ， 定 义 的 主机 都 将 得 到 相同 的 任务 ， 但 执行 的 返回 结果 不 一 定 保持 一 致 ， 取 决 于 主机 的 环境 及 程序 包 状 态 。 建 议 
每 个 任务 事件 都 要 定义 一 个 name 标 签 ， 好 处 是 增强 可 读 性 ， 也 便于 观察 结果 输出 时 了 解 运 行 的 位 置 ， 默 认 使 用 action (具体 的 执行 动作 ) 来 替换 name 作 为 输出 。 下 面 是 一 个 简单 的 任务 定义 示例 : 
tasks: 


- name: make sure nginx is running 
Service: name-nginx state-running 


功能 是 检测 Nginx 服 务 是 否 为 运行 状态 ， 如 没有 则 启动 。 其 中 name 标 签 对 下 面 的 action (动作 ) 进行 描述 ; action (动作 ) 部 分 可 以 是 Ansible 的 任意 模块 ， 具 体 见 9.5 节 ， 本 例 为 services 模 块 ， 人 参数 
使 用 key=value 的 格式 ， 如 “name=httpd” ， 在 定义 任务 时 也 可 以 引用 变量 ， 格 式 如 下 : 
tasks: 


- name: create a virtual host file for {{ vhost }} 
template:  src-somefile.j2 dest-/etc/httpd/conf.d/(( vhost }} 


在 playbook 可 通过 template 模 块 对 本 地 配置 模板 文件 进行 泻 染 并 同步 到 目标 主机 。 以 nginx 配 置 文件 为 例 ， 定 义 如 下 : 


- name: write the nginx config file 
template:  src-/home/test/ansible/nginx/nginx2.conf dest-/etc/nginx/nginx.conf 
notify: 
- restart nginx 


Hh, "srcz/home/test/ansible/nginx/nginx2.conf" 为 管理 端 模板 文件 存放 位 置 ，“dest=/etc/nginx/nginx.conf” 为 目标 主机 nginx 配 置 文件 位 置 ， 通 过 下 面 nginx 模 板 文件 可 以 让 大 家 对 模板 的 
定义 有 个 基本 的 概念 。 


[/home/test/ansible/nginx/nginx2.conf] 


user nginx; 

worker processes {{ worker processes ]]; 
($ if num cpus == 2 %} 
worker cpu affinity 01 10; 

($ elif num cpus == 4 5} 

worker cpu affinity 1000 0100 0010 0001; 

($ elif num cpus >= 8 5%} 

worker cpu affinity 00000001 00000010 00000100 00001000 00010000 00100000 01000000 10000000; 
{3 else 5} 

worker cpu affinity 1000 0100 0010 0001; 
($ endif %} 

worker rlimit nofile {{ max open file }}; 


Ansible 会 根据 定义 好 的 模板 泻 染 成 真实 的 配置 文件 ， 模 板 使 用 YAML 语 法 ， 详 细 见 9.1 节 ， 最 终生 成 的 nginx.conf 配 置 如 下 : 


user nginx; 

Worker processes 4; 

worker cpu affinity 1000 0100 0010 0001; 
worker rlimit nofile 65506; 


当 目 标 主 机 配置 文件 发 生变 化 后 ， 通 知 处 理 程序 (Handlers) 来 触发 后 续 的 动作 ， 比 如 重启 nginx 服 务 。Handlers 中 定义 的 处 理 程序 在 没有 通知 触发 时 是 不 会 执行 的 ， 触 发 后 也 只 会 运行 一 次 。 触 发 是 
通过 Handlers 定 义 的 name 标 签 来 识别 的 ， 比 如 下 面 notify 中 的 “restart nginx” 与 handlers 中 的 “name: restart nginx” 保持 一 致 。 


notify: 
- restart nginx 
handlers: 
- name: restart nginx 
Service: name-nginx state-restarted 


9.6.3 执行 playbook 


执行 playbook， 可 以 通过 ansible-playbook 命 令 实现 ， 格 式 : ansible-playbook playbook file (.yml) [参数 ]|， 如 启用 10 个 并 行进 程 数 执行 playbook: 


#ansible-playbook /home/test/ansible/playbooks/nginx.yml -f 10, 


其 他 常用 参数 说 明 : 
:-u REMOTE_USER: 手工 指定 远程 执行 playbook 的 系统 用 户 ; 
. --syntax-check: 检查 playbook 的 语法 ; 
: --list-hosts playbooks: 匹配 到 的 主机 列表 ; 
- -T TIMEOUT: 定义 playbook 执 行 超时 时 间 ; 
| --step: 以 单 任务 分 步骤 运行 ， 方 便 做 每 一 步 的 确认 工作 。 


更 多 参数 说 明 运 行 ansible-playbook-help 来 获得 。 


9.7 playbook 角色 与 包含 声明 


当 我 们 写 一 个 非常 大 的 playbook 时 ， 想 要 复 用 些 功能 显得 有 些 吃力 ， 还 好 Ansible 支 持 写 playbook 时 拆 分 成 多 个 文件 ， 通 过 包含 (include) 的 形式 进行 引用 ， 我 们 可 以 根据 多 种 维度 进行 “封装 。， 比 
如 定义 变量 、 任 务 、 处 理 程序 等 。 


角色 建立 在 包含 文件 之 上 ， 抽 象 后 更 加 清晰 、 可 复 用 。 运 维 人 员 可 以 更 专注 于 整体 ， 只 有 在 需要 时 才 关 注 具体 细节 。Ansible 官 方 在 GitHub 上 提供 了 大 量 的 示例 供 大 家 参考 借鉴 ， 访 问 地 址 
https://github.com/ansible/ansible-examples 即 可 获 相应 的 学 习 资 料 。 


971 包含 文件 ， 鼓 励 复 用 


当 多 个 playbook 涉 及 复 用 的 任务 列表 时 ， 可 以 将 复 用 的 内 容 剥 离 出 ， 写 到 独立 的 文件 当中 ， 最 后 在 需要 的 地 方 include 进 来 即 可 ， 示 例如 下 : 
[tasks/foo.yml] 


# possibly saved as tasks/foo.yml 
- name: placeholder foo 

command:  /bin/foo 
- name: placeholder bar 

command:  /bin/bar 


然后 就 可 以 在 使 用 的 playbook 中 include 进 来 ， 如 : 


tasks: 
- include:  tasks/foo.yml 


当然 ， 也 可 以 将 变量 传递 到 包含 文件 当中 ， 这 称 为 “参数 包含 ”。 


如 在 部 署 多 个 WordPress 的 情况 下 ， 可 以 根据 不 同 用 户 单独 部 署 WordPress 的 任务 ， 且 引用 单个 wordpress.yml 文 件 ， 可 以 这 样 写 : 


tasks: 
- include: wordpress.yml user-timmy 
- include: wordpress.yml user-alice 
- include: wordpress.yml user-bob 


注意 ，1.4 或 更 高 版 本 可 支持 以 Python 的 字典 、 列 表 的 传递 参数 形式 ， 如 : 


tasks: 
- ( include: wordpress.yml, user: timmy, ssh keys: [ 'keys/one.txt', "'keys/two.txt' ] ) 


使 用 这 两 种 方法 都 进行 变量 传递 ， 然 后 在 包含 文件 中 通过 使 用 {{use 中 进行 变量 引用 。 
将 处 理 程序 (handlers) 放 到 包含 文件 中 是 一 个 好 的 做 法 ， 比 如 重启 Apache 的 任务 ， 如 下 : 


[handlers/handlers.yml] 


4 this might be in a file like handlers/handlers.yml 
- name: restart apache 
service: name-apache state-restarted 


需要 时 可 以 进行 引用 ， 像 这 样 : 


handlers: 
- include: handlers/handlers.yml 


9.7.2 角色 


现在 我 们 已 经 了 解 了 变量 、 任 务 、 处 理 程序 的 定义 ， 有 什么 方法 更 好 地 进行 组 织 或 抽象 ， 让 其 复 用 性 更 强 、 功 能 更 具 模 块 化 ? 管 案 就 是 角色 。 角 色 是 Ansible 定 制 好 的 一 种 标准 规范 ， 以 不 同 级 别 目录 层 
次 及 文件 对 角色 、 变 量 、 任 务 、 处 理 程序 等 进行 拆 分 ， 为 后 续 功 能 扩展 、 可 维护 性 打下 基础 。 一 个 典型 角色 目录 结构 的 示例 如 下 : 


- 


site.yml 
webservers.yml 
fooservers.ym]l 
roles/ 
common / 
files/ 
templates/ 
tasks/ 
handlers/ 
vars/ 
meta/ 
webservers/ 
files/ 
templates/ 
tasks/ 
handlers/ 
vars/ 
meta/ 


在 playbook 是 这 样 引 用 的 : 
[site.yml] 


- hosts: webservers 
roles: 
- common 
- webservers 


角色 定制 以 下 规范 ， 其 中 x 为 角色 名 。 

:如 toles/x/tasks/main.yml 文 件 存在 ， 其 中 列 出 的 任务 将 被 添加 到 执行 队列 ; 

: 如 roles/x/handlers/main.yml 文 件 存 在 ， 其 中 所 列 的 处 理 程序 将 被 添加 到 执行 队列 ; 

: 如 roles/x/vars/main.yml 文 件 存在 ， 其 中 列 出 的 变量 将 被 添加 到 执行 队列 ， 

: 如 roles/x/meta/main.yml 文 件 存在 ， 所 列 任何 作用 的 依赖 关系 将 被 添加 到 角色 的 列表 (1.3 及 更 高 版 本 ) ; 
- 任何 副本 任务 可 以 引用 roles/x/files/ 无 需 写 路 径 ， 默 认 相 对 或 绝对 引用 ; 


- 任何 脚本 任务 可 以 引用 roles/x/files/ 无 需 写 路 径 ， 上 默认 相 对 或 绝对 引用 ; 


: 任何 模板 任务 可 以 引用 文件 中 的 roles/x/templates/ 无 需 写 路 径 ， 默 认 相 对 或 绝对 引用 。 


为 了 便于 大 家 更 好 地 理解 和 使 用 角色 (role) ， 对 9.6 节 中 的 nginx 软 件 包 管理 的 playbook (独立 文件 ) 修改 成 角色 的 形式 ， 同 时 添加 了 一 个 公共 类 角色 common， 从 角色 全 局 作用 域 中 抽取 出 公共 的 部 
一 般 为 系统 的 基础 服务 ， 比 如 ntp、iptables、selinux、sysctl 等 。 本 示例 是 针对 ntp 服 务 的 管理 。 


(1) playbook 目 录 结 构 

playbook 目 录 包 括 变量 定义 目录 group_vars、 主 机 组 定义 文件 hosts、 全 局 配置 文件 site.yml、 角 色 功 能 目录 ，playbook 目 录 结 构 可 参考 图 9-5。 
[/home/test/ansible/playbooks/nginx] 

(2) 定义 主机 组 

以 下 定义 了 一 个 业务 组 webservers， 成 员 为 两 台 主 机 。 


[nginx/hosts] 


[webservers] 
192.168.1.21 
192.168.1.22 


非 必 选 配置 ， 默 认 将 引用 /etc/ansible/hosts 的 参数 ， 角 色 中 自 定 义 组 与 主机 文件 将 通过 “-i file” 命 令 行 参 数 调 用 ， 如 ansible-playbook-i hosts 来 调用 。 


[rootg/sN2013-808-8020 playbooks |# tree nginx 
nginx 
— group vars 
— all 
webservers 
hosts 
roles 


handlers 

L— main. yml 
tasks 

I main.wyml 
templates 


E 


ntp.conf.]: 
vars 
L— main.yml 


handlers 

L— main.yml 

tasks 

-一 main.wyml 

templates 

L— nginx2.conf 
site.yml 


图 9-5 playbook 主 目录 结构 


(3) 定义 主机 或 组 变量 


定义 规则 见 9.3 节 所 述 ，group_vars 为 定义 组 变量 目录 ， 目 录 当 中 的 文件 名 要 与 组 名 保持 一 致 ， 组 变量 文件 定义 的 变量 作为 域 只 受 限 于 该 组 ，all 代 表 所 有 主机 。 


[nginx/group vars/all] 


# Variables listed here are applicable to all host groups 
ntpserver: ntp.sjtu.edu.cn 


[nginx/group vars/webservers] 


Worker processes: 4 
num cpus: 4 
max open file: 65536 
root: /data 


(4) 全 局 配置 文件 site.yml 
下 面 的 全 局 配置 文件 引用 了 两 个 角色 块 ， 角 色 的 应 用 范围 及 实现 功能 都 不 一 样 : 


[nginx/site.yml] 


— name: 
hosts: 
roles: 

- common 

- name: configure and deploy the webservers and application code 

hosts: 


webservers 
roles: 


- web 


apply common configuration to all nodes 
all 


全 局 配置 文件 site.yml 引 用 了 两 个 角色 ， 一 个 为 公共 类 的 common， 另 一 个 为 web 类 ， 分 别 对 应 nginx/common、nginx/web 目 录 。 以 此 类 推 ， 可 以 引用 更 多 的 角色 ， 如 db、nosql、hadoop 等 ， 前 
提 是 我 们 先 要 进行 定义 ， 通 常情 况 下 一 个 角色 对 应 着 一 个 特定 功能 服务 。 通 过 hosts 参 数 来 绑 定 角色 对 应 的 主机 或 组 。 


(5) 角色 common 的 定义 


角色 common 定 义 了 handlers、tasks、templates、vars 4 个 功能 类 ， 分 别人 存放 处 理 程序 、 任 务 列 表 、 模 板 、 变 量 的 配置 文件 main.yml， 需 要 注意 的 是 ，varsmain.yml 中 定义 的 变量 优先 级 高 
于 /nginx/group_vars/all， 可 以 从 ansible-playbook 的 执行 结果 中 得 到 验证 。 各 功能 块 配置 文件 定义 如 下 : 


[handlers/main.yml] 


- name: restart ntp 
Service: name-ntpd state-restarted 


[tasks/main.yml] 


- name: Install ntp 
yum: name-ntp state-present 
- name: Configure ntp file 
template:  src-ntp.conf.j2 dest-/etc/ntp.conf 
notify: restart ntp 
- name: Start the ntp service 
Service: name-ntpd state-started enabled-tru 
- name: test to see if selinux is running 
command:  getenforce 
register:  sestatus 
changed when: false 


其 中 template: src=ntp.confj2 引 用 模板 时 无 需 写 路 径 ， 默 认 在 上 级 的 templates 目 录 中 查找 。 


[templates/ntp.conf.j2] 


tfile /var/lib/ntp/drift 
restrict 127.0.0.1 

restrict -6 : : 1 

server {{ ntpserver }} 
includefile /etc/ntp/crypto/pw 
keys /etc/ntp/keys 


dri 


此 处 {fntpserver} 将 引用 varsmain.yml 定 义 的 ntpserver 变 量 。 


[vars/main.yml] 


4 Variables listed here are applicable to all host groups 
ntpserver: 210.72.145.44 


(6) 角色 web 的 定义 
角色 web 定 义 了 handlers、tasks、templates 三 个 功能 类 ， 基 本 上 是 9.6 节 中 的 nginx 管 理 playbook 对 应 定义 功能 段 打 散 后 的 内 容 。 有 具体 功能 块 配 置 文件 定义 如 下 : 


[handlers/main.yml] 


— name: 
service: 


restart nginx 
name-nginx state-restarted 


[tasks/main.yml] 


- name: ensure nginx is at the latest version 
yum:  pkg-nginx state-latest 
- name: write the nginx config file 
template:  src-nginx2.conf dest-/etc/nginx/nginx.conf 
notify: 
- restart nginx 
- name: ensure nginx is running 
Service: name-nginx state-started 


[templates/nginx2.conf] 


user nginx; 

worker processes {{ worker processes ]]; 
($ if num cpus == 5} 
worker cpu affinity 01 10; 

($ elif num cpus == 4 5%} 
worker cpu affinity 1000 0100 0010 0001; 
($ elif num cpus >= 8 $ 
worker cpu affinity 00000001 00000010 00000100 00001000 00010000 00100000 01000000 10000000; 
($ else $] 

worker cpu affinity 1000 0100 0010 0001; 
($ endif %} 

worker rlimit nofile {{ max open file }}; 


具体 web 角 色 定 义 细节 将 不 展开 描述 ， 可 参考 9.6 节 及 common 角 色 的 说 明 。 


(7) 运行 角色 


#cd /home/test/ansible/playbooks/nginx 
#ansible-playbook -i hosts site.yml -f 10 


运行 结果 如 图 9-6 与 图 9-7 所 示 。 


TASK: [Install ntp | LEF F ETE EEEE ETTET EEEE EET TET EEEE EErEE TEEST ETETE EEEE E EEEE EEEE 


ok: [192.168.1.21] 
ok: [192.168.1.227 


TASK: [Configure ntp fila] Jt Mt MK CMAOMONCMC HC OM XC ONCOHE ORONNBUME ME HCORNCOME OC ONCMUMCMIC ME HERE CHOC OR ONCOICOE HER MCMEOHCORÓRCHCHEMEN GERE 


changed: [192.168.1.71 ] 
changed: [192.168.1.2 ] 


TASK: [Start the ntp service | LE hh h A h h i è h h hh h A h h i E H h h oh h h a i k H hh h oh h h oh H E h oh h h hH LE 
ok: [192.108.1.2] 
OK. L192z.108.1.Z1] 


EJ9-6 ntp 部 署 片 段 


TASK: Taisi LN 
ok: [197.165.1. £7 | 
OK: am / 


TASK: [write the nginx contig file] $ A i A E e E h H A a e E e A e e e oe e e e E e A e e e e E E e e 
ok: [192.168.1.22] 


Ok: [1972.168.1. 21] 


TASK: [ensure nginx 1&5 running | WR e E h EA A E A R e A A E A e A A a E E E 
ok: [192.168.1.22] 
xk: [192.168.1.21] 


PLAY RECAP HH R H A E E E A A E H E A e a H H o A e e E a A A a H e E E e A A H E E H A R E A A EA H 


192.168.1.721 * ok=9 changed-2 unreachab Le-8 Failed-8 
]192.168.1.2Z2 : ok-9 changed-z unreachab Le-d Failed-0 


图 9-7 nginx 部 署 片段 


Facts 是 一 个 非常 有 用 的 组 件 ， 类 似 于 Saltstack 的 Grains 功 能 ， 实 现 获取 远程 主机 的 系统 信息 ， 包 括 主机 名 、1IP 地 址 、 操 作 系 统 、 分 区 信息 、 硬 件 信 息 等 ， 可 以 配合 playbook 实 现 更 加 个 性 化 、 灵 活 的 
功能 需求 ， 比 如 在 httpd.conf 模 板 中 引用 Facts 的 主机 名 信息 作为 ServerName 参 数 的 值 。 通 过 运行 ansible hostname-m setup 可 获取 Facts 信 息 ， 例 如 ， 获 取 192.168.1.21 的 Facts 信 息 需 运行 : ansible 
192.168.1.21-m setup， 结 果 如 下 : 


192.168.1.21 success >> { 

"ansible facts": { 
"ansible all ipv4 addresses": [ 
"19216871 217 


"ansible al l ipv6 addresses": | 
"fe80: : 250: 56ff: fe28: 632a" 


Js 
"ansible architecture": "x86 64", 
"ansible bios date": "07/02/2012", 


"ansible bios version": "6.00", 

"ansible cmdline": ( 
"KEYBOARDTYPE": Log "s 

"KEYTABLE": "us" 

"LANG": "en US. UTF- 8g" 

"SYSFONT": Toten lel Sun16"， 

"quiet": true, 

"rd NO DM": true, 

"rd NO LUKS" true, 

"rd NO INM".- true, 

"rd NO MD": true, 

"rhgb": true, 

"TO"; true, 


"root":  "UUID-b8829324-57p2-4949-8402-7fd9ad64ac5a" 


在 模板 文件 中 这 样 引用 Facts 信 息 : 


(( ansible devices.sda.model }} 
(( ansible hostname }} 


99 变量 


在 实际 应 用 场景 中 ， 我 们 希望 一 些 任 务 、 配 置 根据 设备 性 能 的 不 同 而 产生 差异 ， 比 如 使 用 本 机 CPU 核 数 动态 配置 Nginx 的 worker processes 参 数 ， 可 能 有 一 组 主机 的 应 用 配置 文件 几乎 相同 ， 但 略 有 不 
同 的 配置 项 可 以 引用 变量 。 在 Ansible 中 使 用 变量 的 目的 是 方便 处 理 系统 之 间 的 差异 。 


变量 名 的 命名 规则 由 字母 、 数 字 和 下 划 线 组 合 而 成 ， 变 量 必须 以 字母 开头 ， 如 “foo_port” 是 一 个 合法 的 变量 ，“foo5” 也 是 可 以 的 ，“foo-port”、 "foo port” , “foo.port” 和 “12” 都 是 非法 
的 变量 命名 。 在 Inventory 中 定义 变量 见 9.3.2 节 和 9.3.3 节 ， 在 playbook 定 义 变 量 见 9.6 节 ， 建 议 回顾 一 下 ， 加 深 记 忆 。 
9.9.1 Jinja2 过 滤器 


Jinja2 是 Python 下 一 个 广泛 应 用 的 模板 引擎 ， 它 的 设计 思想 类 似 于 Django 的 模板 引擎 ， 并 扩展 了 其 语法 和 一 系列 强大 的 功能 ， 官 网 地 址 : http://jinja.pocoo.org/。 下 面 介绍 一 下 Ansible 使 用 Jinja2 强 
大 的 过 滤器 (Filters) 功能 。 


使 用 格式 : {{ 变 量 名 | 过 滤 方 法 }。 
下 面 是 实现 获取 一 个 文件 路 径 变量 过 滤 出 文件 名 的 一 个 示例 : 


(( path | basename }} 


获取 文件 所 处 的 目录 名: 
{{ path | dirname }} 


下 面 为 一 个 完整 的 示例 ， 实 现 从 “/etc/profile” 中 过 滤 出 文件 名 “profile”， 并 输出 重 定向 到 /tmp/testshell 文 件 中 。 


- hosts: 192.168.1.21 


Vars: 

filename:  /etc/profile 
tasks: 

- name:  "shelll" 


shell: echo {{ filename | basename }} >> /tmp/testshell 


更 多 的 过 滤 方 法 见 http:/Vjinja.pocoo.org/docs/templates/#builtin-filters。 


9.922 本 地 Facts 


我 们 可 以 通过 Facts 来 获取 目标 主机 的 系统 信息 ， 当 这 些 信息 还 不 能 满足 我 们 的 功能 需求 时 ， 可 以 通过 编写 自 定义 的 Facts 模 块 来 实现 。 当 然 ， 还 有 一 个 更 简单 的 实现 方法 ， 就 是 通过 本 地 Facts 来 实现 。 
只 需 在 目标 设备 /etc/ansible/facts.d 目 录 定 义 JJON、1INI 或 可 执行 文件 的 JSJON 输 出 ， 文 件 扩展 名 要 求 使 用 “.fact” ， 这 些 文件 都 可 以 作为 Ansible 的 本 地 Facts， 例 如 ， 在 目标 设备 192.168.1.21 定 义 三 个 变 
量 ， 供 以 后 playbook 进 行 引 用 。 


[/etc/ansible/facts.d/preferences.fact] 


[general] 
max memory size-32 

max user processes-3730 
open files-65535 


在 主 控 端 运行 ansible 192.168.1.21-m setup-a"filterzansible local" 可 看 到 定义 的 结果 ， 返 回 结果 如 下 : 


192.168.1.21 | success >> { 
"ansible facts": 
"ansible local": { 
"preferences": { 
"general": { 
"max memory size": "32", 
"max user processes": "3730", 
"open files": "65535" 


} 
} 
) 


) 
"changed": false 


注意 返回 JSON 的 层次 结构 ，preferences (facts 文 件 名 前 缀 ) general (INI 的 节 名 ) 一 key: value (INI 的 键 与 值 ) ， 最 后 就 可 以 在 我 们 的 模板 或 playbook 中 通过 以 下 方式 进行 调用 : 


(( ansible local.preferences.general. open files }} 


9.9.3 HRE 
变量 的 另 一 个 用 途 是 将 一 条 命令 的 运行 结果 保存 到 变量 中 ， 供 后 面 的 playbook 使 用 。 下 面 是 一 个 简单 的 示例 : 


- hosts: web servers 
tasks: 
- shell: /usr/bin/foo 


register: foo result 
ignore errors: True 

- shell: /usr/bin/bar 
when: foo result.rc == 5 


上 述 示例 注册 了 一 个 foo_result 变 量 ， 变 量 值 为 shell: /usr/bin/fooBis 172558, ignore errors: True 为 忽略 错误 。 变 量 注册 完成 后 ， 就 可 以 在 后 面 playbook 中 使 用 了 ， 当 条 件 语句 when : 
foo result.rc==5 成 立时 ，shell: /usr/bin/bar 命 令 才 会 运行 ， 其 中 foo_result.rc 为 返回 /usr/bin/foo 的 resultcode (返回 码 ) 。 图 9-8 返 回 “rc=0” 的 返回 码 。 


[roote@SN2013-08-020 ~]# ansible 192.108.1.21 -m command -a "echo 'Ihis certainly is epic'" 
192.165.1.71 | success | rc=0 


This certainly is epic 


图 9-8 命令 执行 结果 


9.10 FRIRE 


有 时候 一 个 playbook 的 结果 取决 于 一 个 变量 ,或 者 取决 于 上 一 个 任务 (task) 的 执行 结果 值 ， 在 某 些 情况 下 ， 一 个 变量 的 值 可 以 依赖 于 其 他 变量 的 值 ， 当 然 也 会 影响 Ansible 的 执行 过 程 。 
下 面 主要 介绍 When 声明 。 


有 时 候 我 们 想 跳 过 某 些 主机 的 执行 步骤 ， 比 如 符合 特定 版 本 的 操作 系统 将 不 安装 某 个 软件 包 ， 或 者 磁盘 空间 爆满 了 将 进行 清理 的 步骤 。 在 Ansible 中 很 容易 做 到 这 一 点 ， 通 过 When 子 句 实现 ， 其 中 将 引 
用 Jinja2 表 达 式 。 下 面 是 一 个 简单 的 示例 : 


tasks: 
- name: "shutdown Debian flavored systems" 
command:  /sbin/shutdown -t now 
when: ansible os family == "Debian" 


通过 定义 任务 的 Facts 本 地 变量 ansible os family (操作 系统 版 本 名 称 ) 是 否 为 Debian， 结 果 将 返回 BOOL 类 型 值 ， 为 True 时 将 执行 上 一 条 语句 command: /sbin/shutdown-t now， 为 False 时 该 条 
语句 都 不 会 触发 。 我 们 再 看 一 个 示例 ， 通 过 判断 一 条 命令 执行 结果 做 不 同 分 支 的 二 级 处 理 。 


- command:  /bin/false 
register: result 
ignore errors: True 

- command:  /bin/something 
when: result|failed 

- command:  /bin/something else 
when: result|success 

- command:  /bin/still/something else 
when: result|skipped um 


"when: resultlsuccess” 的 意思 为 当 变量 result 执 行 结果 为 成 功 状态 时 ， 将 执行 /bin/something_else 命 令 ， 其 他 同 理 ， 其 中 success 为 Ansible 内 部 过 滤器 方法 ， 返 回 Ture 代 表 命 令 运行 成 功 。 


9.11 循环 


通常 一 个 任务 会 做 很 多 事情 ， 如 创建 大 量 的 用 户 、 安 闭 很 多 包 ， 或 重复 轮 询 特定 的 步骤 ， 直 到 某 种 结果 条 件 为 止 ，Ansible 为 我 们 提供 了 此 支持 。 下 面 是 一 个 简单 的 示例 : 


- name: add several users 
user: name-(( item }} state-present groups-wheel 
with items: 
- testuserl 
- testuser2 


这 个 示例 实现 了 一 个 批量 创建 系统 用 户 的 功能 ，with_items 会 自动 循环 执行 上 面 的 语句 “user: name-((itemjjstate- present groups=wheel”， 循 环 的 次 数 为 with_items 的 元 素 个 数 ， 这 里 有 2 个 元 
素 ， 分 别 为 testuser1、testuser2， 会 分 别 替 换 {fitemj}} 项 。 这 个 示例 与 下 面 的 示例 是 等 价 的 : 


- name: add user testuserl 
user: name-testuserl state-present groups-wheel 
- name: add user testuser2 
user: name-testuser2 state-present groups-wheel 


当然 ， 元 素 也 支持 字典 的 形式 ， 如 下 : 


- name: add several users 
user: name-(í( item.name }} state-present groups-(í item.groups ]) 
with items: 
- ( name: 'testuserl', groups:  'wheel' } 
- (name: 'testuser2', groups: 'root' } 


循环 也 支持 列表 (List) 的 形式 ， 不 过 是 通过 with flattened 语 句 来 实现 的 ， 例 如 : 


# file: roles/foo/vars/main.yml 
packages base: 


- [ 'foo-package', ''bar-package' | 
packages apps: 

- [ ['one-package', '"'two-package' ]] 

- [ ['red-package'], ['blue-package']] 


以 上 定义 了 两 个 列表 变量 ,分 别 是 需要 安装 的 软件 包 名 ， 以 便 后 面 进行 如 下 引用 : 


- name: flattened loop demo 
yum: name-(( item }} state-installed 
with flattened: 
- packages base 


- packages apps 


通过 使 用 with_flattened 语 句 循环 引用 定义 好 的 列表 变量 。 


9.12 示例 讲解 

官网 提供 的 Haproxy+LAMP+Nagios 经 典 示 例 ， 也 是 目前 国内 最 常用 的 技术 架构 ， 此 案例 访问 地 址 为 : https://github.com/ansible/ansible-examples/tree/master/lamp_haproxy。 下 面 将 对 该 示 
例 进 行 详细 说 明 ， 内 容 履 盖 前 面 涉及 的 几乎 所 有 知识 点 ， 起 到 温 故 的 作用 ， 同 时 作为 对 Ansible 的 总 结 内 容 。 

下 面 介绍 playbook 的 基本 信息 。 

1. 目 录 结 构 


示例 playbook 目 录 结 构 见 图 9-9。 


[rocotgSN2813-88-8028 ansible]# tree lamp haproxy;/ 
lem: haproxy/ 
BrOUDp Yars 
ali 
dboserwvers 
1IBhzerwers 
Webserver 
— hoata 
roles 


— bazr-apache 
L— tasks 


L 
COPROTnn 
files 


| 一 epnel.repo 
— RPM-GPh-kEY-EPEL-5 


handlers 
| main. yml 
tasks 


main. yml 


I main. yml 
— templates 


E iptables. J2 


ntp. conf. J2 


do 
— handlers 
L main.yml 
tasks 
L— main.yml 
templates 
[一 my crt. 72 
haproxy 
| - hand ders 
L— main,.vml 


templates 


mm Hm Em 


— haproxw.cfg.]Z 


amnsibsie-ma naged- se rvires.ci = 
calhozt.ctg 
— nmaginus.rcfg 
handlers 
L— miin. yml 
tasks 
I— main „yml 
templates 
dbservers. ct 


lbservers. cfg]: 


webservrers.cti 
tasks 
L— main.yml 
— sitc.yml 


图 9-9 ”示例 目录 结构 


两 合 Web 主机 、1 台 数据 库 主 机 、1 台 负载 均衡 器 主机 、1 台 监控 主机 ，hosts 配 置 如 下 : 


[hosts] 


[webservers] 
webl 

web2 
[dbservers] 


[Ibservers] 
lbi 


[monitoring] 
nagios 


3.palybookA L1X fftsite.yml 


需要 注意 的 是 base-apache 角 色 ， 由 于 webservers 及 monitoring 都 需要 部 署 Apache 环 境 ， 为 提高 复 用 性 ， 将 部 署 Apache 独 立成 base-apache 角 色 。 


[Site.yml] 


- hosts: all 
roles: 
- common 

- hosts:  dbservers 


user: root 


user: root 


roles 
- base-apache 
- web 
— hosts lbservers 
user: root 
roles 
- haproxy 


hosts: monitoring 
user: root 
roles: 


- base-apache 
- nagios 


下 面 定 义 playbook 全 局 变量 ， 变 量 作用 域 为 所 有 主机 。 


[group vars/all] 


# Variables here are applicable to all host groups 
httpd port: 80 
ntpserver: 192.168.1.2 


all 文 件 定义 了 匹配 所 有 主机 作用 域 的 变量 ， 一 般 为 系统 公共 类 基础 配置 ， 如 ntpserver 地 址 、sysctl 变 量 、iptables 配 置 等 。 


下 面 为 定义 webservers 组 的 变量 ， 变 量 作 用 域 为 webservers 组 主机 。 


[group vars/webservers] 


4 Variables for the web server configuration 
Ethernet interface on which the web server should listen. 
Defaults to the first interface. Change this to: 


iface: eth1 


I 


http: //www.hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressed/14964/O0EBPS/Text/...to override. 


face: '{{ ansible default ipv4.interface }}' 

this is the repository that holds our sample webapp 
epository: https: //github.com/bennojoy/mywebapp.git 
this is the shalsum of V5 of the test webapp. 

webapp version:  351e47276cc665018f4890a04709d4cc3d3edb0d 


JE Ho E H- db db 2b Hb Hb db 2b 


webservers 文 件 定义 了 webservers 组 作用 域 的 变量 。 本 示例 涉及 Apache 相 关 配 置 ， 其 中 “iface: '((ansible default ipv4.interface}} ”引用 了 Facts 获 取 的 本 地 网 卡 接口 名 信息 ， 


GitHub 的 repository, 方便 下 载 Web 测 试 文件 ， 如 内 部 搭建 git 版 本 控制 环境 ， 此 处 也 可 以 修改 成 本 地 的 服务 地 址 。 


下 面 为 定义 dbservers 组 的 变量 ， 变 量 作用 域 为 dbservers 组 主机 。 


[group vars/dbservers] 


4 The variables file used by the playbooks in the dbservers group. 

# These don't have to be explicitly imported by vars files: they are autopopulated. 
mysqlservice: mysqld 
mysql port: 3306 
dbuser: root 

dbname:  foodb 
upassword: abc 


dbservers 文 件 定义 了 dbservers 组 作用 域 变量 ， 本 示例 涉及 MySQL 数 据 库 的 基本 应 用 信息 。 
下 面 为 定义 lbservers 组 作用 域 变量 文件 ， 本 示例 主要 涉及 haproxy 环 境 涉及 的 配置 参数 值 。 
[group vars/Ibservers] 


4 Variables for the HAproxy configuration 

4 HAProxy supports "http" and "tcp". For SSL, SMTP, etc, use "tcp". 
mode: http 
4 Port on which HAProxy should listen 

listenport: 8888 

4 A name for the proxy daemon, this wil be the suffix in the logs. 
daemonname: myapplb 
# Balancing Algorithm. Available options: 

# roundrobin,. source, leastconn, source, uri 

# (if persistance is required use, "source") 

balance: roundrobin 

Ethernet interface on which the load balancer should listen 
Defaults to the first interface. Change this to: 


iface: eth1 


I 
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face: '{{ ansible default ipv4.interface }}' 


5.playbook 角 色 详 解 


http: //www.hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressed/14964/0EBPS/Text/...to override. 


另外 定义 了 一 个 


本 示例 划分 了 6 个 角色 ， 包 括 base-apache、common、db、haproxy、nagios、web， 分 别 对 应 6 个 功能 环境 部 署 ， 根 据 不 同业 务 场景 的 需求 ， 可 以 随意 加 、 减 角色 ， 如 将 base-apache 更 换 成 


nginx， 然 后 在 site.yml 中 引用 。 


(1) common 角 色 


common 的 主要 功能 是 部 署 、 配 置 系统 基础 服务 ， 包 括 yum 源 、 安 装 nagios 搬 件 、NTP 服 务 、iptables、SELinux 等 ， 任 务 (tasks) 的 定义 如 下 : 


[roles/common/tasks/main.yml] 


# This role contains common plays that will run on all nodes. 
- name: Create the repository for EPEL 
copy: Src-epel.repo dest-/etc/yum.repos.d/epel.repo 
- name: Create the GPG key for EPEL 
copy:  Src-RPM-GPG-KEY-EPEL-6 dest-/etc/pki/rpm-gpg 
- name: (install some useful nagios plugins 
yum: name={{ item }} state-present 
with items: 
- nagios-nrpe 
- nagios-plugins-swap 
- nagios-plugins-users 
- nagios-plugins-procs 
- nagios-plugins-load 
- nagios-plugins-disk 
- name: Install ntp 
yum:  name-ntp state-present 


E ed 


e: Configure ntp file 
template:  src-ntp.conf.j2 dest-/etc/ntp.conf 


tags: ntp 
notify: restart ntp 
- name: Start the ntp service 


Service: name-ntpd state-started enabled-tru 
tags: ntp 
- name: insert iptables template 
template:  src-iptables.j2 dest-/etc/sysconfig/iptables 


notify: restart iptables 
- name: test to see if selinux is running 
command:  getenforce 
register:  sestatus 
changed when: false 


上 述 代 码 定义 了 两 个 远程 文件 复制 copy， 其 中 src ( 源 文件 ) 的 默认 位 置 在 roles/common/yfiles， 使 用 with_item 标 签 实现 循环 安装 nagios 插 件 ， 同 时 安装 ntp 服 务 ， 引 用 模块 文件 
roles/common/templatesntp.confj2， 且 同步 到 目标 主机 /etc/ntp.conf 位 置 。 配 置 系统 iptables， 引 用 roles/common/templates/iptables.j2 模 板 ，“notify: restart iptables”， 状 态 或 模板 发 生变 化 
时 将 通知 处 理 程序 (handlers) 来 处 理 。“command: getenforce” 运 行 getenforce 来 检测 selinux 是 否 在 运行 状态 ，“changed when: false” 作用 为 不 记录 命令 运行 结果 的 changed 状 态 ， 即 
changed 为 False。 


下 面 定 义 common 角 色 的 处 理 程序 。 


[roles/common/handlers/main.yml] 


i Handlers for common notifications 
- name: restart ntp 


Service: name-ntpd state-restarted 
- name: restart iptables 
Service: name-iptables state-restarted 


上 述 代 码 定 义 了 两 个 处 理 程序 ， 功 能 分 别 为 重启 ntp、iptables 服 务 ， 其 中 “name: restart ntp” 与 任务 (tasks) 定义 中 的 “notify: restart ntp” 是 一 一 对 应 的 ，“name: restart iptables” [z] 
理 。 


下 面 定 义 了 common 角 色 iptables 的 配置 模板 : 


[roles/common/templates/iptables.j2] 


($ if (inventory hostname in groups['webservers']) or (inventory hostname in groups['monitoring']) %} 
-A INPUT -p tcp --dport 80 =] ACCEPT 
($ endif $2] 


$ for host in groups['monitoring'] $) 
-A INPUT -p tcp -s {{ hostvars[host].ansible default ipv4.address ]] --dport 5666 -j ACCEPT 
$ endfor %} 


"inventory hostname" 作为 存放 在 Ansible 的 inventory 文 件 中 的 主机 名 或 |P， 好 处 是 可 以 不 依靠 Facts 的 主机 名 参数 ansible_hostname 或 其 他 原因 ， 一 般 情况 Finventory hostname] F 
ansible_hostname， 但 有 时 候 我 们 习惯 在 Ansible 的 inventory 中 使 用 IP 地 址 ， 而 ansible hostname 则 返回 主机 名 。 模 板 使 用 了 jinja2 的 语法 ， 本 例 ifhttp://www.hzcourse.comyresource/readBook? 
path=/openresources/teach ebook/uncompressed/14964/OEBPS/Text/...endif 语 句 判断 当前 的 inventory_hostname 是 否 在 webservers 及 monitoring 组 中 (定义 具体 在 hosts 文 件 中 ) ， 条 件 成 立 则 
添加 80 端 口 访问 权限 (-A INPUT-p tcp--dport 80-j ACCEPT) 。Forhttp://www.hzcourse.com/resource/readBook? 


path=/openresources/teach ebook/uncompressed/14964/OEBPS/Text/...endfor 语 句 实现 了 循环 开通 允许 monitoring 组 主机 访问 5666 端 口 ， 使 用 hostvars[host] 得 到 主机 对 象 ， 可 以 获得 主机 的 Facts 
信息 ， 如 hostvars[host].ansible_default ipv4.address 获 取 主 机 IP。 


(2) haproxy 角 色 
haproxy 角 色 主 要 实现 了 haproxy 平 台 的 部 署 、 配 置 功能 ， 任 务 (tasks) 的 定义 : 


[roles/haproxy/tasks] 


f This role installs HAProxy and configures it. 
- name: Download and install haproxy and socat 

yum: name={{ item }} state-present 

with items: 

- haproxy 

- socat 
- name: Configure the haproxy cnf file with hosts 

template:  src-haproxy.cfg.j2 dest-/etc/haproxy/haproxy.cfg 

notify: restart haproxy 


任务 (tasks) 定义 了 两 个 功能 ， 一 为 安装 ， 二 为 同步 配置 文件 ， 安 装 使 用 了 yum 模 块 ， 循 环 安装 haproxy、socat 两 个 工具 ， 同 时 根据 配置 参数 演 染 roleshaproxytemplates/haproxy.cfg.,j2 模 板 文 
件 ， 完 成 后 同步 到 目标 主机 /etc/haproxy/haproxy.cfg 位 置 ， 状 态 发 生变 化 时 重启 haproxy 服 务 ， 使 之 生效 。 


下 面 定 义 了 haproxy 角 色 haproxy.cfg 的 配置 模板 : 


[roles/haproxy/templates/haproxy.cfg.j2] 


backend app 

($ for host in groups['lbservers'] $] 

listen {{ daemonname ]] {{ hostvars[host]|['ansible ' + iface].ipv4. 

address )): {{ listenport }} 

$ endfor $] 

balance (( balance }} 

($ for host in groups['webservers'] $) 
server (( hostvars[host].ansible hostname }} {{ hostvars [host] 
['ansible ' + iface].ipv4.address }}: (( httpd port }} 

$ endfor $] 


{{hostvars[host]j['ansible_'+ifacel.ipv4.address}} 实 现 了 获取 网 卡 名 变量 iface (group_vars/lbservers 中 定义 ) 的 IPv4 1P 地 址 。 
(3) web 角 色 
web 角 色 主 要 实现 了 php、php-mysql、git 平 台 部 署 及 SELinux 的 配置 功能 ， 任 务 (tasks) 的 定义 如 下 : 


[roles/web/tasks/main.yml] 


4 httpd is handled by the base-apache role upstream 
- name: Install php and git 
yum: name-(( item }} state-present 
with items: 
- php 
- php-mysql 
- git 


- name: Configure SELinux to allow httpd to connect to remote database 
seboolean: name-httpd can network connect db state-true persistent-yes 
when: sestatus.rc ! - 0 Bu B 

- name: Copy the code from repository 
git: repo={{ repository }} version-(( webapp version }} dest-/var/www/html/ 


判断 sestatus 变 量 (roles/common/tasks/main.ymlrRzE X.) 返回 的 rc (运行 代码 ) 不 等 于 0 (失败 ) 则 配置 selinux httpd 访 问 远程 数据 库 的 权限 ， 使 用 的 是 Ansible 的 seboolean 模 块 ， 该 条 语句 等 价 
于 命令 行 “setsebool httpd can network connect db 1”， 其 中 “persistent=yes” 表 示 开 机 自 启动 。 


(4) nagios 角 色 
nagios 角 色 主 要 实现 了 nagios 监 控 平 台 的 部 署 ， 重 点 介绍 任务 (tasks) 的 定义 : 


[roles/nagios/tasks/main.yml] 


- name: create the nagios object files 
template: src={{ item + ".j32" }} 
dest-/etc/nagios/ansible-managed/(í( item }} 
with items: 
- webservers.cfg 
- dbservers.cfg 
- lbservers.cfg 
notify: restart nagios 


template 分 发 多 个 模板 文件 时 可 以 使 用 with_items 来 循环 同步 ， 变 量 与 字符 使 用 “+” 号 连接 (具体 见 jinja2 语 法 ) 。 

理解 以 上 4 个 角色 的 定义 后 ， 再 理解 ansible-examples 其 他 playbook 的 内 容 已 经 没有 太 大 的 困难 ， 本 书 将 不 一 一 说 明 。 
人 @@ 参 考 提示 

:9.] $E YAML EDZ A5 http:/ /zh.wikipedia.org/zh-cn/Y AML. 


:9.2 节 ~9.11 节 Ansible 介 绍 及 示例 参考 http://docs.ansible.com 人 官网 文档 。 


第 10 章 ”集中 化 管理 平台 Saltstack 详 解 


Saltstack (http://www.saltstack.com/) 是 一 个 服务 器 基础 架构 集中 化 管理 平台 ， 开 始 于 2011 年 的 一 个 项 目 ， 具 备 配置 管理 、 远 程 执 行 、 监 控 等 功能 ,一般 可 以 理解 成 简化 版 的 
puppet (http://puppetlabs.com/) 和 加 强 版 的 func (https://fedorahosted.org/func/) 。Saltstack 基 于 Python 语言 实现 ， 结 合 轻 量 级 消息 队列 (ZeroMQ) 与 Python 第 三 方 模块 (Pyzmq、 
PyCrypto、Pyjinja2、python-msgpack 和 PyYAML 等 ) 构建 。Saltstack 具 备 如 下 特点 。 


` 部 署 简单 、 方 便 。 

. 支持 大 部 分 UNIX/Linux 及 Windows 环 境 。 

“ 主 从 集中 化 管理 。 

配置 简单 、 功 能 强大 、 扩 展 性 强 。 

- 主 控 端 (master) 和 被 控制 端 (minion) 基于 证 书 认证 ， 安 全 可 靠 。 
C 支持 API 及 自 定义 模块 ， 可 通过 Python 轻松 扩展 。 


通过 部 署 Saltstack 环 境 ， 我 们 可 以 在 成 王 上 万 台 服 务 器 上 做 到 批量 执行 命令 ， 根 据 不 同业 务 特 性 进行 配置 集中 化 管理 、 分 发 文件 、 采 集 服 务 器 数据 、 操 作 系统 基础 及 软件 包 管 理 等 ， 因 此 ，Ssaltstack 是 
运 维 人 员 提 高 工作 效率 、 规 范 业 务 配 置 与 操作 的 利器 。 目 前 Saltstack 已 经 趋向 成 熟 ， 用 户 群 及 社区 活跃 度 都 不 错 ， 同 时 官方 也 开放 了 不 少子 项 目 ， 具 体 可 访问 https://github.comy/saltstack 获 得 。 


为 了 方便 读者 更 系统 化 地 了 解 Saltstack 的 技术 点 ， 本 章 将 针对 相关 技术 点 详细 展开 介绍 。 


10.1 Saltstack 的 安装 
Saltstack 的 不 同 角色 服务 安装 非常 简单 ， 建 议 读 者 采用 yum 源 方式 来 实现 部 署 ， 下 面 介 绍 具 体 步 又。 


10.1.1. 业务 环境 启明 


为 了 方便 读者 理解 ， 笔 者 通过 虚拟 化 环境 部 署 了 两 组 业务 功能 服务 器 来 进行 演示 ， 操 作 系统 版 本 为 CentOs release 6.4， 自 带 Python 2.6.6。 相 关 服 务 器 信息 如 表 10-1 所 示 (CPU 核 数 及 Nginx 根 目录 
的 差异 化 是 为 方便 演示 生成 动态 配置 的 需要 ) 。 


表 10-1 环境 说 明 表 


角色 Id (minion id ) Groupsnode (组 名 ) | Cpus ( 核 数 ) | Web Root( Nginx TR El 3& ) 


S5N2012-07-010 192.168.1.10 


minion 
minion 
minion 
minion SN2013-08-022 192.168.1.22 


10.1.2 ”安装 EPEL 


weblgroup 


weblgroup 


web2group 


由 于 目前 RHEL 官 网 yum 源 还 没有 Saltstack 的 安装 包 支 持 ， 因 此 先 安装 EPEL 作 为 部 署 Saltstack 的 默认 yum 源 。 


: RHEL (CentOS) 5 版 本 : tpm-Uvh 下 载 地 址 : http://mirror.pnl.gov/epel/5/1386/epel-release-5-4.noarch.rpm 


RHEL (CentOS) 6 版 本 : tpm-Uvh 下 载 地 址 : http://ftp.linux.ncsu.edu/pub/epel/6/i386/epel-release-6-8.noarch.rpm 


10.1.3 ”安装 Saltstack 


(1) 主 服务 器 安装 (Etrin 


#yum install salt-master -y 
#chkconfig salt-master on 
#service salt-master start 


[WWW 
[WWW 


[WWW 


/data 


/data 


(2) 从 服务 器 安装 (被 控 端 ) 


#yum install salt-minion -y 
fchkconfig salt-minion on 
fservice salt-minion start 


10.14 _ Saltstack 防 火 墙 配置 


在 主 控 端 添加 TCP 4505, TCP 4506 的 规则 ， 而 在 被 控 端 无 须 配 置 防火 墙 ， 原 理 是 被 控 端 直接 与 主 控 端 的 zeromq 建 立 长 链接 ， 接 收 广播 到 的 任务 信息 并 执行 ， 具 体操 作 是 添加 两 条 iptables 规 则 : 


iptables - NPUT -m state --state new -m tcp -p tcp --dport 4505 -j ACCEPT 
iptables - NPUT -m state --state new -m tcp -p tcp --dport 4506 -j ACCEPT 


10.1.5 “更 新 Saltstack 配 置 及 安装 校 验 


Saltstack 分 两 种 角色 ， 一 种 为 master ( 主 控 端 一 种 为 minion (被 控 端 ) ， 安 装 完毕 
(1) master 主 控 端 配置 
1) 更 新 主 控 端 关键 项 配置 : 


[/etc/salt/master] 


JE 


要 对 两 种 角色 的 配置 文件 进行 修改 ， 下 面具 体 说 明 。 


i2 xEMasterüfs IP; 
interface: 192.168.1.20 
# 自 动 认证 ， 避 人 免 手 动 运行 salt-key 来 确认 证 书信 任 ; 
auto accept: True 
# 指 定 Saltstack 文 件 根 目录 位 置 
file roots: 

base: 

- /srv/salt 


2) 重启 saltstack salt-master 服 务 使 新 配置 生效 ， 具 体 执行 以 下 命令 : 


#service salt-master restart 


(2) minion 被 控 端 配置 
1) 更 新 被 控 端 关键 项 配置 : 


[/etc/salt/minion] 


# 指 定 master 主 机 了 EUM 
master: 192.168. 
# 修 改 被 控 端 主机 识 Mid, 建议 使 用 操作 系统 主机 名 来 配置 
id: SN2013-08-02 


2) 重启 saltstack salt-minion 服 务 使 新 配置 生效 ， 具 体 执行 以 下 命令 : 


service salt-minion restart 


(3) 校 验 安 装 结果 


通过 test 模 块 的 ping 方 法 ， 可 以 确认 指定 被 控 端 设备 与 主 控 端 是 否 建立 信任 关系 及 连通 性 是 否 正常 ， 探 测 所 有 被 控 端 采 用 "*' 来 代替 'SN2013-08-021' 即 可 ， 具 体 如 图 10-1 所 示 。 


[rooteSN20]3-08-020 ~|# salt 'SN7013-08-071' test.ping 


SN2013-08-021: 
[rue 


图 10-1 测试 安装 主机 的 连通 性 
Qi 35 /etc/salt/master;& Æ Bb Xtauto accept: True 时 ， 需 要 通过 salt-key 命 令 来 进行 证 书 认证 操作 ， 有 具体 操作 如 下 : 
. salt-key -LL， 显 示 已 经 或 未 认证 的 被 控 端 d，Accepted Keys 为 已 认证 清单 ，Unaccepted Keys 为 未 认证 清单 ; 
.salt-key-D， 删 除 所 有 认证 主机 id 证 书 ; 
`- salt-key-did， 删 除 单个 id 证 书 ; 
.salt-key 一 A， 接 受 所 有 id 证 书 请 求 ; 


.salt-key-aid， 接 受 单个 id 证 书 请 求 。 


41^? HC altatas alin 上 ZX 一 人 人 人 
10.2 不 | 用 Sa |tstack] 元 lH 4—T———- 
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Saltstack 的 一 个 比较 突出 优势 是 具备 执行 远程 命令 的 功能 ， 操 作 及 方法 与 func (https///fedorahosted.org/func/) 相似 ， 可 以 帮助 运 维 人 员 完 成 集中 化 的 操作 平台 。 
命令 格式 : salt < 操作 目标 >'< 方 法 > [参数 ] 
示例 : 查看 被 控 主 机 的 内 存 使 用 情况 ， 如 图 10-2 所 示 。 


| root8S5N2013-08-070 ~|# salt 'SN7013-08-071' «cmd.run 'free -m' 
SNZ013-08-071: 


total used Free shared buffers cached 


Mem: 457 440 35 Ü " a 20 
buffers/cache: Ji 
Swap: 1023 ar 


图 10-2 ”查看 “SN2013-08-021” 主机 内 存 使 用 


其 中 针对 < 操作 目标 >，Saltstack 提 供 了 多 种 方法 对 被 控 端 主机 (id) 进行 过 滤 。 下 面 列 举 常 用 的 具体 参数 。 


:二 /一 


1) -E，--pcre， 通 过 正则 表达 式 进 行 匹 配 。 示 例 : 控 测 SN2013 字 符 开头 的 主机 id 名 是 否 连 通 ， 命 令 : salt-E^SN2013.*test.ping， 运 行 结果 如 图 10-3 所 示 。 


[rooteSN2013-08-020 ~]# salt -E '^SN2013.*' test.ping 
ISN2013-08-021 : 

True 
SN2013-08-022: 

True 


图 10-3 正则 匹配 主机 的 连通 性 


2) -L，--list， 以 主机 id 名 列表 的 形式 进行 过 滤 ， 格 式 与 Python 的 列表 相似 ， 即 不 同 主机 id 名 称 使 用 逗号 分 隔 。 示 例 : 获取 主机 id 名 为 SN2013-08-021、SN2013-08-022; 获取 完整 操作 系统 发 行 版 名 
称 ， 命 令 : salt-L'SN2013-08-021，SN2013-08-022'grains.item osfullname， 运 行 结果 如 图 10-4 所 示 。 


[roote5N7013-08-070 ~]# salt -L 'SN72013-08-071,5N7013-05-077' grains.1tem osfullname 


SN2013-08-0?21: 


osfullname: CentOS 


SN2013-08-0? 
osfullname: Cent05 


图 10-4 列表 形式 匹配 主机 的 操作 系统 类 型 


3) -G，--grain， 根 据 被 控 主 机 的 grains (10.4 节 详解 ) 信息 进行 匹配 过 滤 ， 格 式 为 <grain value»: «glob expression>'， 例 如 ， 过 滤 内 核 为 Linux 的 主机 可 以 写成 (kernel: Linux ， 如 果 同 时 需要 正 


则 表达 式 的 支持 可 切换 成 --grain-pcre 参 数 来 执行 。 示 例 : 获取 主机 发 行 版 本 号 为 6.4 的 Python 版 本 号 ， 命 令 : salt-G'osrelease: 6.4cmd.run'python-V'， 运 行 结果 如 图 10-5 所 示 。 


[rooteSN2013-08-020 ~]# salt -G 'osrelease:6.4' cmd.run "python -V' 
SN2013-08-9021: 
Python 2.6.1 


SN2013-08 lee 
Python 2.6.6 


图 10-5 grain 形式 匹配 主机 的 Python 版 本 
4) -1，--pillar， 根 据 被 控 主 机 的 pillar (10.5 节 详解 ) 信息 进行 匹配 过 滤 ， 格 式 为 “对 象 名 称 : 对 象 值 ”， 例 如 ， 过 滤 所 有 具备 'apache: httpd'pillar 值 的 主机 。 示 例 : 探测 具有 “nginx: 
root: /data" 信息 的 主机 连通 性 ， 命 令 : salt-l'nginx: root: /data'test.ping， 运 行 结果 如 图 10-6 所 示 。 

[rooteSN2013-08-020 ~]# salt -I 'nginx:root:/data' test.ping 
SN2013-08-021: 

True 
SN2013-08-02?2: 

True 


图 10-6 ”billar 形 式 匹配 主机 的 连通 性 


其 中 pillar 属 性 配置 文件 如 下 (关于 pillar 后 面 10.5 单 独 进行 说 明 ) : 


nginx: 
root: /data 


5) -N, --nodegroup, 根据 主 控 端 master 配 置 文件 中 的 分 组 名 称 进行 过 滤 。 以 笔者 定义 的 组 为 例 (主机 信息 支持 正则 表达 式 、grain、 条 件 运算 符 等 ) ， 通 常 根据 业务 类 型 划分 ， 不 同业 务 具备 相同 
的 特点 ， 包 括 部 署 环境 、 应 用 平台 、 配 置 文件 等 。 举 例 分 组 配置 信息 如 下 : 


[/etc/salt/master] 


nodegroups: 
weblgroup:  'L8SN2012-07-010, SN2012-07-011,. SN2012-07-012' 
web2group:  'L8SN2013-08-021,. SN2013-08-022' 


其 中 ，L@ 表 示 后 面 的 主机 id 格式 为 列表 ， 即 主机 id 以 逗号 分 隔 ; G@ 表 示 以 grain 格 式 摘 述 ; 3S@ 表 示 以 |P 子 网 或 地 址 格式 描 


示例 : 探测 web2group 被 控 主 机 的 连通 性 ， 其 命令 为 : salt-N web2group test.ping， 运 行 结 果 如 图 10-7 所 示 。 


[roote5N2013-08-0?0 ~]# salt -N web2group test.ping 
SN2013-08-922: 

True 
5N2013-08-021: 

True 


图 10-7 分 组 形式 (nodegroup) 匹配 主机 的 连通 性 
6) -C，--compound， 根 据 条 件 运算 符 not、and、or 去 匹配 不 同 规则 的 主机 信息 。 示 例 : 探测 SN2013 开 头 并 且 操 作 系统 版 本 为 CentOs 的 主机 连通 性 ， 命 令 如 下 : 


salt -C 'EQ^SN2013.* and G@os: Centos' test.ping 


其 中 ，not 语 句 不 能 作为 第 一 个 条 件 执行 ， 不 过 可 以 通过 以 下 方法 来 规避 ， 示 例 : 探测 非 SN2013 开 头 的 主机 连通 性 ， 其 命令 为 : salt-C'*and not EG ^SN2013.*'test.ping. 


7) -S，--ipcidr， 根 据 被 控 主 机 的 IP 地 址 或 IP 子 网 进行 匹配 ， 示 例如 下 : 


salt -S 192.168.0.0/16 test.ping 
salt -S 192.168.1.10 test.ping 


4 A 5 
U.S 


Saltstack 提 供 了 非常 丰富 的 功能 模块 ， 涉 及 操作 系统 的 基础 功能 、 常 用 工具 支持 等 ， 更 多 模块 信息 见 官 网 模块 介绍 : http://docs.saltstack.com/ref/modules/all/index.html。 当 然 ， 也 可 以 通过 sys 
模块 列 出 当前 版 本 支持 的 模块 ， 如 图 10-8 所 示 。 


[rooteSN7013-08-020 —-] salt '*' sys.list modules 
SN2013-08-0?7? 

acl 

aliases 

alternatives 


apache 


archi 


daemontools 


data 


图 10-8 ”所 有 主机 Saltstack 支 持 的 模块 清单 (部 分 截图 ) 


接 下 来 抽取 出 常见 的 模块 进行 介绍 ， 同 时 也 会 列举 模块 API| 使 用 方法 。API 的 原理 是 通过 调用 master client 模 块 ， 实 例 化 一 个 LocalClient 对 象 ， 骨 调用 cmd () 方法 来 实现 的 。 以 下 是 API 实 现 test.ping 
的 示例 : 


import salt.client 


client = salt.client.LocalClient () 
ret = client.cmd ('*', 'test.ping') 


print ret 


结果 以 一 个 标准 的 Python 字典 形式 的 字符 串 返回 ， 可 以 通过 eval () 函数 转换 成 Python 的 字典 类 型 ， 方 便 后 续 的 业务 逻辑 处 理 ， 程 序 运 行 结果 如 下 : 


('SN2013-08-022': True, 'SN2013-08-021': True} 
Qum 将 字符 字典 转换 成 Python 的 字典 类 型 ， 推 荐 使 用 ast 模 块 的 literal_eval O Zr, TXGUE AGE UP MUERE C 
(1) Archive 模 块 


1) 功能 : 实现 系统 层面 的 压缩 包 调 用 ， 支 持 gunzip、gzip、rar、tar、unrar、unzip 等 。 


2) 示例 : 

# 采 用 gzunzip 解 压 /tmp/sourcefile .txt.dgz 包 

salt '*' archive.gunzip /tmp/sourcefile.txt.gz 
# 采 用 gzip 压 缩 /tmp/sourcefile.txt 文 件 

salt '*' archive.gzip /tmp/sourcefile.txt 

3) APHSFB: 


client.cmd ('*', ' archive.gunzip', ['/tmp/sourcefile.txt.gz ']) 


(2) cmd 模 块 
1) 功能 : 实现 远程 的 命令 行 调用 执行 (默认 具备 root 操 作 权限 ， 使 用 时 需 评估 风险 ) 。 


2) 示例 : 


# 获 取 所 有 被 控 主 机 的 内 存 使 用 情况 
salt '*' cmd.run "free -m" 
# 在 SN2013-08-021 主 机 运行 test .sh 脚本 ， 其 中 script/test .sh 存放 在 file roots 指 定 的 目录 ， 
# 该 命令 会 做 两 个 动作 首先 同步 test .sh 到 minion 的 cache 目 录 ( 如 同步 到 /var/cache/salt/ #minion/files/base/script/test.sh) ; 其 次 运行 该 脚本 
'SN2013-08-021' cmd.script salt: //script/test.sh 


= 


3) APHSFB: 


client.cmd ('SN2013-08-021', 'cmd.run', ['free -m']) 


(3) cp 模块 
1) 功能 : 


2) 示例 : 


PEE 定 被 控 主机 的 /etc/hosts 文 件 
file /etc/hosts 


t '*' cp.cache local 


复制 到 被 控 


实现 远程 文件 、 目 录 的 复制 ， 以 及 下 载 URL 文 件 等 操作 。 


HEERS afi] 
.get dir salt: 
4 二 服务 只 1e roti 
sal 

# 下 载 URIL 内 AERE 


salt '*' cp.get url 


十 IXI C 


+ ITI C 


L- 


机 指定 位 置 


3) API 调 用 : 


client.cmd ('SN2013-08-021', 


(4) cron 模 块 


roots 指 定位 置 下 的 目录 复 秆 
//path/to/dir/ /minion/dest 
定位 置 下 的 文件 复 秆 
e salt: //path/to/file /minion/dest 


UST EL 


| 到 被 控 主 机 


'cp.get file', 


1) 功能 : 实现 被 控 主 机 的 crontab 操 作 。 


2) 示例 : 


# 查 看 指 
salt 'SN20] 


3-08-022' 


定 被 控 主 机 、root 用 户 的 crontap 清 单 
cron.raw cron root 


# 为 指定 的 被 控 主机 、root 用 户 添加 /usr/local 
3-08-022' cron.set job root 
PRI ERREN rootH/"crontabff)/usr/local/weeklytft4&ffEMV 
3-08-022' cron.rm job root /usr/local/weekly 


salt 'SN201 


salt 'SN201 


3) API 调 用 : 


client.cmd ('SN2013-08-021', 


(5) dnsutil 模 块 
1) 功能 : 实现 被 控 主 机 通用 D 


2) 示例 : 


A RT 
hosts append /etc/hosts 127.0.0.1 adl.yuk.com, ad2.yuk.com 
" 除 指定 被 控 主 机 hos; cott] ELE RU 页 


.hosts remove /etc/hosts adl.yuk.com 


lt '*' dnsutil. 


+ IKI 


salt dnsutil 


3) API 调 用 : 


client.cmd ('*', 


(6) file 模 块 
1) 功能 
2) 示例 : 


VERUS HU Y 
salt '*' 


HERATA «ect 文件 


LU 


ni 
e.check hash ds 
的 加 密 信 息 


Et 


sal e.chown /etc/pa 


+ 复制 所 有 被 失主 机 本 地 /Path/to/src 文 件 到 本 地 的 /pash/to/as: 文 伯 
仿 查 文件 是 否 存 在 使 用 fi 


'*' file.copy /path/to 
# 检 查 所 有 被 控 主 机 /etcH 


salt '*' file.directory exi 


'*' file.stats /etc/pa 


LU c3] 


t mode /etc 


salt. '*' fi] t mode / 


im 所 有 被 控 


Exa 


EG 


'dnsutil.hosts append', 


Fstab 文 从 


录 是 否 存在 ， 存 在 则 返 
# 获 到 所 有 被 控 主 机 /etc/passwa 的 stats 信 息 


LU LU 


http: //www.slashdot.org /tmp/index.html 


/weekly 任 务 作业 


'*' 1 /usr/local/weekly 


Ud 


[' salt: //path/to/f 


ile 


主机 本 地 的 salt cacheH3* C/var/cache/salt/minion/localf 


', ' /minion/dest']) 


'cron.set job'. [ 


NS 相关 操作 。 


te/f 


'root', 


['/etc/hosts', 


F 的 md5 是 否 为 6254e84e2 
fstab md5=6254e84e2f6f 


LU 
, 


FGF 


fa54e0c8d9cb230 
fa54e0c8d9cb230 


'127.0.0.1', 


: 被 控 主 机 文件 常见 操作 ， 包 括 文件 读 写 、 权 限 、 查 找 、 校 验 等 。 


f5505， 一 致 则 返 


£5505 


. X #md5, shal, sha224. sha256. sha384. sha512Jl X 


e.get sum Jetc/passwd md5 
HEC ERL/SEc/ pass EE 


的 属 组 、 用 户 权限 ， 


sswd root root 


/src /path/to/dst 
[| True, 


sts /etc 


sswd 


3 
FIOBUR REIS ERL/ot cree noe 如 755、644 


/passwd 


FEHI ICE ERL/ete passu modes 644 


/passwd 0644 


WII 7opt / test 目录 


e.mkdir /opt/te 


E 
PH x 


JL /etc/httpd/httpd. conf 


St 


n 


'/usr/echo']) 


salt '*' file.sed /etc/http 


d/httpd.conf 


'LogLevel inf 


文件 的 LogLeve1 参 数 的 warn 值 修改 成 info 


'LogLevel warn' 


4 给 所 有 被 榨 主机 的 /tnp/test /te 


st.conf 


和 e.append /tmp/ 


Li 


PT 除 所 有 被 控 主机 的 /tmp/foo 文 件 


LU c 


le.remove /tmp/f 


L- 


salt 


3) APHSFB: 


client.cmd ('*', ! 


(7) iptablest tk 


file.remove ', 


test/test.conf 


OO 


1) 功能 : 被 控 主机 iptables 支 持 。 


2) 示例 : 


# 在 所 有 被 控 端 主机 追加 (appeng) 、 


插入 (insert) iptab] 


文件 追加 内 容 "maxclient 100" 
"maxclient 100" 


['/tmp/foo']) 


t '*' iptables. append 


Cer 


salt 
ptables.insert 


ter INPUT position- 


salt '*' i 
定 链 纺 


# 在 所 有 被 控 端 主机 删除 指 


为 3 (Position=3) 或 指 


7 
Fi] 

E 
salt '*' iptables.delete fi 
Fi] 


ter INPUT position- 


INPUT rule-2'-m state --state 


es 规则 ， 其 中 INPUT 为 输入 链 


法 


等 价 于 chown root: root /etc/passwd 


.file exists 方法 


RE 


ELATP 


D, ESTABL 


SHED 


'adl.yuk.co']?2 


[Hl True 


-j ACCEPT' 


3 rule-'-m sta 


定 存在 的 规则 
3 


Ler 


salt '*' jiptables.delet 


INPUT rule-'-m sta 


te --state 


te —-state R 


ELAT 


ED, 


ESTABL 


R 


ELATE 


D; 


ESTABL 


SHED 


-j ACCEPT' 


SHED 


iles/) ; 


-j ACCEPT' 


# 保 存 所 有 被 控 端 主机 规则 到 本 地 硬盘 C/etc/sysconfig/iptables) 
salt '*' iptables.save /etc/sysconfig/iptables 


3) API 调 用 : 


client.cmd ('SN2013-08-022', 'iptables.append', ['filter', 'INPUT', 'rule=\'-p tcp --sport 80 -j ACCEPT\'']) 


(8) netwrok 模 块 


1) 功能 : 返回 被 控 主 机 网 络 信息 。 


2) 示例 : 


# 在 指定 被 控 主 机 'SN2013-08-022' 获 取 dig、ping、traceroute 目 录 域 名 信息 

salt 'SN2013-08-022' network. dig www. qq. com 

salt 'SN2013-08-022' network.ping www.qq.com 

t 'SN2013-08-022' network.traceroute www.dqg.com 

EH REEL" SN2013-08-022 :的 MAC 地 址 

salt 'SN2013-08-022' network.hwaddr eth0 

# 检 测 指定 被 控 主 机 'SN2013-08-022' 是 否 属于 10.0.0.0/16 子 网 范围 ， 属 于 则 返回 True 

salt 'SN2013-08-022' network.in subnet 10.0.0.0/16 

# 获 取 指 定 被 控 主 机 "SN2013-08-022， dl d 
ne 
3- 
ne 
3- 
ne 


salt 'SN2013-08-022' twork.interface 
# 获 取 指 定 被 控 主 机 "SN2013-08-022:" 的 工 地 址 配置 信息 
salt 'SN2013-08-022' twork.ip addrs 

# 获 取 指 定 被 控 主机 'SN2013-08-022' 的 子 网 信息 

salt 'SN2013-08-022' twork.subnets 


3) API 调 用 : 

client.cmd ('SN2013-08-022', "'network.ip addrs') 
(9) pkg 包 管理 模块 

1) 功能 : 被 控 主 机 程序 包 管理 ， 如 yum、apt-get 等 。 


2) 示例 : 


Lu 1 ul emat, 工具 进行 部 署 ， 如 redhat 平 台 的 yum， 等 价 于 yum -y install php 
' pkg.install 
FREN 的 Pp 
t '*' pkg.remove php 
EVITER ER 的 软件 包 
salt '*' pkg.upgrade 


3) API 调 用 : 


client.cmd ('SN2013-08-022',  'pkg.remove', ['php']) 


(10) Service 服 务 模块 


1) 功能 : 被 控 主 机 程序 包 服 务 管 


2) 示例 : 

# 开 启 Cenable) . Z5Hj (disable) nginx 开 机 自 启动 服务 

salt '*' service.enable nginx 

salt '*' service.disable nginx 

# 针 对 nginx 服 务 的 reload、restart、start、stop、status 操 作 
salt '*' service.reload nginx 

salt '*' service.restart nginx 

salt '*' service.start nginx 

salt '*' service.stop nginx 

salt '*' service.status nginx 

3) API 调 用 : 

client.cmd ('SN2013-08-022', ''service.stop', ['nginx']) 


(11) 其 他 模块 


面 介绍 的 10 个 常用 模块 ， 基 本 上 已 经 覆盖 日 常 运 维 操作 。Saltstack 还 提供 了 user (系统 用 户 模块 ) 、group (系统 组 模块 ) partition 分 区 模块 ) 、puppet (puppet 管 理 模块 ) 、 
system (系统 重启 、 关 机 模块 ) . timezone (时 区 管理 模块 ) 、nginx (Nginx 管 理 模块 ) 、mount (文件 系统 挂 载 模块 ) ， 等 等 ， 更 多 内 容 见 官网 介 
http://docs.saltstack.com/ref/modules/all/index.html#all-salt-modules。 当 然 ， 我 们 也 可 以 通过 Python 扩 展 功能 模块 来 满足 需 


10.4 grains 组 件 


grains 是 Saltstack 最 重要 的 组 件 之 一 ，grains 的 作用 是 收集 被 控 主 机 的 基本 信息 ， 这 些 信息 通常 都 是 一 些 静 态 类 的 数据 ， 包 括 CPU、 内 核 、 操 作 系 统 、 虚 拟 化 等 ， 在 服务 器 端 可 以 根据 这 些 信息 进行 灵 
活 定制 ， 管 理 员 可 以 利用 这 些 信息 对 不 同业 务 进行 个 性 化 配置 。 官 网 提供 的 用 来 区 分 不 同 操作 系统 的 示例 如 下 (采用 inja 模 板 ) : 


if grains['os'] == 'Ubuntu' $ 

(( grains['host'] }} 

if grains['os'] == 'CentOS' %} 
(( grains['fqdn'] }} 

ndif %} 


oe 
(D ct (D ct 


示例 中 CentOS 发 行 版 主机 将 被 “host: ((grainsfqdn')" 匹配 ， 以 主机 SN2013-08-022 (centOS 6.4) 为 例 ， 最 终 得 到 “host: SN2013-08-022”。 同 时 ， 命 令 行 的 匹配 操作 系统 发 行 版 本 为 
CentOS 的 被 控 端 可 以 通过 -G 参 数 来 过 滤 ， 如 salt-G'os: CentOS'test.ping.。 


匹配 内 核 版 本 为 2.6.32-358.14.1.el6.x86 64 的 主机 : 


salt -G 'kernelrelease: 2.6.32-358.14.1.e16.x86 64' cmd.run 'uname -a' 


获取 所 有 主机 的 grains 项 信息 : 


salt '*' grains.ls 


当然 ， 也 可 以 获取 主机 单项 grains 数 据 ， 如 获取 操作 系统 发 行 版 本 ， 执 行 命令 : salt'SN2013-08-022'grains.item os， 结 果 如 图 10-9 所 示 。 


[roote5N2013-08-0?70 ~]# salt ' SN2013-08-022' grains.item 


S5NZ2013-08-07? 


os: CentOS 


图 10-9 ”根据 grains 获 取 主 机 操作 系统 发 行 版 本 信息 


获取 主机 id 为 “SN2013-08-022” 的 所 有 grains 键 及 值 信息 ， 执 行 命令 如 图 10-10 所 示 。 


定义 grains 数 据 的 方法 有 两 种 ， 其 中 一 种 为 在 被 控 主 机 定制 配置 文件 ， 另 一 种 是 通过 主 控 端 扩展 模块 API 实 现 ， 区 别 是 模块 更 灵活 ， 可 以 通过 Python 编程 动态 定义 ， 而 配置 文件 只 适合 相对 固定 的 键 与 
值 。 下 面 分 别 举例 说 明 。 


[rooteSN2013-08-0?70 ~|# salt 'SN2013-08-0?2' grains.items 
SN2013 08-02? : 
a: 19824 
biosreleasedate: 0//02/2017 
Diosversion: 6.08 
cabinet: 13 
cpu flags: fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush 
xtopology tsc reliable nonstop tsc aperfmperf unfair spinlock pni pclmulqdq ssse3 cx16 pcid 
; fsgsbaüse smep 
cpu model: Intel(R) Pentium(R} CPU G2030 @ 3.00GHz 
cpuarch: x86 64 
defaultencoding: UTFS 
defaultlanguage: en US 
deployment: datacenter4 
domain: 
Fadn: SN2013-08-022 
gpus: 
I'model': "SVGA II Adapter", 'vendor': 'unknown'! 
host: SN2013-08-072 
id: SN2813-88-9022 
ip interfaces: 1 Lo : ['17/.0.0.1'], 'ethe6'- ['197.168.1.22' J} 
1pv4: 
127.0.0.1 
192.168.1.22 
kernel: Linux 
kernelrelease: 2.6.32-358.18.1.el6.x86_64 
localhost: 5N7013-08-072 
manufacturer: VMware, Inc. 
master: 197.168.1.8 
max open file: 65535 


图 10-10 ”获取 主机 所 有 grains 信 息 (部 分 截图 ) 


4 hta- ESAEI e eA Le crte 
1. 被 控 端 主机 定制 grain sja 


SSH 登 录 一 台 被 控 主 机 ， 如 SN2013-08-022， 配 置 文件 定制 的 路 径 为 /etc/saltyminion， 参 数 为 default_ include: minion.d/*.conf， 上 有 具体 操作 如 下 : 


[/etc/salt/minion.d/hostinfo.conf] 


grains: 
roles: 
- webserver 
- memcache 
deployment:  datacenter4 
cabinet: 13 


重启 被 控 主 机 salt-minion 服 务 ， 使 之 生效 : service salt-minion restart。 验 证 结果 在 主 控 端 主机 和 运行: salt'SN2013-08-022'grains.item roles deployment cabinet， 观 察 配 置 的 键 与 值 ， 如 图 10-11 


所 示 。 


[rooteSN20]3-08-020 ~]# salt 'SN2013-08-0227' grains.item roles deployment cabinet 
SN2013-08-0?2? : 
cabinet: 13 


deployment: datacenter4 
roles: 

webserver 

memcache 


图 10-11 定制 grains 数 据 信 息 
2. 主 控 端 扩展 模块 定制 grains 数 据 


首先 在 主 控 端 编写 Python 代码 ， 然 后 将 该 Python 文件 同步 到 被 控 主 机 ， 最 后 刷新 生效 〈 即 编译 Python 源码 文件 成 字 节 码 pyc) 。 在 主 控 端 bash 目 录 ( 见 /etc/salt/master 配 置 文件 的 file_roots 项 ， 默 


认 的 base 配 置 在 /srv/salt) 下 生成 grains 目 录 ， 执 行 install-d/srv/salt/_grains 开 始 编写 代码 ， 实 现 获取 被 控 主机 系统 允许 最 大 打开 文件 数 (ulimit-n) 的 grains 数 据 。 


[/srv/salt/ grains/sysprocess.py] 


import os, sys, commands 
def Grains openfile (): 
111 


return os max open file of grains value 
TET 


grains = {} 

#init default value 
open file-65536 
try: 


getulimit-commands.getstatusoutput ('source /etc/profile; ulimit -n') 
except Exception. e: 
pass 
if getulimit[0]--0: 
open file-int (getulimit[1]) 
grains['max open file'] = open file 
return grains E 


上 面 代码 的 说 明 如 下 。 
: grains openfile () 定义 一 个 获取 最 大 打开 文件 数 的 函数 ， 函 数 名 称 没有 要 求 ， 符 合 Python 的 函数 命名 规则 即 可 ; 
grains 三 人 初始 化 一 个 grains 字 典 ， 变 量 名 一 定 要 用 grains， 以 便 Saltstack 识 别 ; 


.grains[max_open_file]=_open_file 将 获取 的 Linux ulimitn 的 结果 值 赋予 grains[rmax_open_file]， 其 中 “max_open_file” 就 是 grains 的 项 ，_open_file 就 是 grains 的 值 。 


最 后 同步 模块 到 指定 被 控 端 主机 并 刷新 生效 ， 因 为 grains 比 较 适 合 采集 静态 类 的 数据 ， 比 如 硬件 、 内 核 信 息 等 。 当 有 动态 类 的 功能 需求 时 ， 需 要 提 行 刷新 ， 具 体操 作 如 下 : 


同步 模块 salt'SN2013-08-022'saltutil.sync all， 看 看 “SN2013-08-022” 主 机 上 发 生 了 什么 ?文件 已 经 同步 到 minion cache 目 录 中 ， 如 下 : 


/var/cache/salt/minion/extmods/grains/grains openfile.py 
/var/cache/salt/minion/files/base/ grains/grains openfile.py 


/var/cache/salt/minion/extmods/grains/ 为 扩展 模块 文件 最 终 存 放 位 置 ， 刷 新 模块 后 将 在 同 路 径 下 生成 字 节 码 pyc; /var/cache/salt/minion/files/base/_grains/ 为 临时 存放 位 置 。 


刷新 模块 salt'SN2013-08-022'sys.reload_modules， 再 看 看 主机 发 生 了 什么 变化 ? 在 /var/cache/salt/minion/extmods/grains/ 位 置 多 了 一 个 编译 后 的 字 节 码 文件 grains_openfile.pyc 文 件 ， 为 


Python 可 执行 的 格式 。 


/var/cache/salt/minion/extmods/grains/grains openfile.py 
/var/cache/salt/minion/extmods/grains/grains openfile.pyc 
/var/cache/salt/minion/files/base/ grains/grains openfile.py 


校 验 结果 为 可 以 在 主 控 端 查看 grains 信 息 ， 执 行 salt'SN2013-08-022'grains.item max open file, REI "max open file: 65535" ， 这 就 是 前 面 定 制 的 主机 grains 信 息 。 


SN2013-08-022: 
max open file: 65535 


10.5 “pillar 组 件 


pillar 也 是 Saltstack 最 重要 的 组 件 之 一 ， 其 作用 是 定义 与 被 控 主 机 相关 的 任何 数据 ， 定 义 好 的 数据 可 以 被 其 他 组 件 使 用 ， 如 模板 、state、APl 等 。 在 pillar 中 定义 的 数据 与 不 同业 务 特性 的 被 控 主 机 相关 


联 ， 这 样 不 同 被 控 主 机 只 能 看 到 自己 匹配 的 数据 ， 因 此 pillar 安 全 性 很 高 ， 适 用 于 一 些 比较 敏感 的 数据 ， 这 也 是 区 别 于 grains 最 关键 的 一 点 ， 如 定义 不 同业 务 组 主机 的 用 户 id、 组 id、 读 写 权 限 、 程 序 包 等 信 
息 ， 定 义 的 规范 是 采用 Python 字 典 形式 ， 即 键 / 值 ， 最 上 层 的 键 一 般 为 主机 的 id 或 组 名 称 。 下 面 详细 描述 如 何 进 行 pillar 的 定义 和 使 用 。 


10.5.1 “pillar 的 定义 


1. 主 配置 文件 定义 


Saltstack 默 认 将 主 控 端 配置 文件 中 的 所 有 数据 都 定义 到 pillar 中 ， 而 且 对 所 有 被 控 主 机 开放 ， 可 通过 修改 /etc/salt/master 配 置 中 的 pillar_opts: Ture 或 False 来 定义 是 否 开启 或 禁用 这 项 功能 ， 修 改 后 执 
行 salt'*"pillar.data 来 观察 效果 。 图 10-12 为 pillar_opts: Ture 的 返回 结果 ， 以 主机 “SN2013-08-022” 为 例 ， 执 行 salt'SN2013-08-022'pillar.data。 


[roote5N27013-08-020 ~|# salt ‘SN2013-08-@22 pillar.data 
3N2013-88-022: 


master: 


auth mode: 
1 

auto accept: 
True 

cachedir: 
/var/cache/salt/master 


Cluster masters: 
cluster mode: 
paranoid 


conf file: 


F 
m’ 


False 
daemon: 
[rue 
default include: 
master.d/*.conf 
enforce mine cache: 
False 


图 10-12 ”主机 所 有 pillat 信 息 (DAA) 
2.SLS 文 件 定义 


pillar 支 持 在 sls 文 件 中 定义 数据 ， 格 式 须 符合 YAML 规 范 ， 与 Saltstack 的 state 组 件 十 分 相似 ， 新 人 容易 将 两 者 混淆 ， 两 者 文件 的 配置 格式 、 入 口 文 件 top.sls 都 是 一 致 的 。 下 面 详细 介绍 pillar 使 用 sls 定 义 
的 配置 过 程 。 


(1) 定义 pillar 的 主 目录 


修改 主 配 置 文件 /etc/salt/master 的 pillar_roots 参 数 ， 定 义 pillar 的 主 目 录 ， 格 式 如 下 : 


pillar roots: 
base: 
- /srv/pillar 


同时 创建 pillar 目 录 ， 执 行 命令 : install-d/srv/pillar, 


(2) 定义 入 口 文件 top.sls 
入 口 文件 的 作用 一 般 是 定义 pillar 的 数据 履 盖 被 控 主 机 的 有 效 域 范 围 ， 
[/srv/pillar/top.sls] 


base: 
1i. 


- data 


“ ”代表 任意 主机 ， 其 中 包括 了 一 个 data.sls 文 件 ， 具 体内 容 如 下 : 


[/srv/pillar/data.sls] 


appname: website 
flow: 
maxconn: 30000 
maxmem: 6G 


(3) 校 验 pillar 


通过 查看 “N2013-08-022” 主 机 的 pillar 数 据 ， 可 以 看 到 多 出 了 data.sls 数 据 项 ， 原 因 是 我 们 定义 top.sls 时 使 用 “*” 覆盖 了 所 有 主机 ， 这 样 当 查看 “SN2013-08-022” 的 pillar 数 据 时 可 以 看 到 我 们 定义 
的 数据 ， 如 图 10-13 所 示 ， 如 果 结 果 不 符合 预期 ， 可 以 党 试 刷新 被 控 主 机 pillar 数 据 ， 运 行 salt*'saltutil.refresh_pillar 即 可 。 


[root&e5N2013-08-020 ~]# salt 'SN2015-08-027?' pillar.data appname flow 


[SN2013-05-02?: 


appname : 
website 


maxconn: 
30000 

maxmem : 
6G 


10.5.2 ”pillar 的 使 用 


图 10-13 ”返回 主机 pillar 的 信息 


完成 pillar 配 置 后 ， 接 下 来 介绍 使 用 方法 。 我 们 可 以 在 state、 模 板 文 件 中 引用 ， 模 板 格式 为 “{{tpilar 变 量 }” ， 例 如 : 


(( pillar['appname'] }}( 一 级 字典 ) 

{{ pillar['flow']['maxconn'] }} (二 级 字典 ) 或 {{ salt['pillar.get'] ('flow: 'maxconn', {Ð }} 
Python API 格 式 如 下 : 

pillar['flow']['maxconn'] 


pillar.get (' flow: appname', {}) 


1. 操 作 目 标 主机 


见 10.5.1 节 ， 通 过 -| 选项 来 使 用 pillar 来 匹配 被 控 主 机 : 


# salt -I 'appname: website' test.ping 
SN2013-08-021: 


True 
SN2013-08-022: 
True 


2. 结 合 grains 处 理 数 据 的 差异 性 


首先 通过 结合 grains 的 id 信息 来 区 分 不 同 id 的 maxcpu 的 值 ， 其 次 进行 引用 观察 匹配 的 信息 ， 延 伸 “10.5.1 pillar 的 定义 ”的 例子 ， 将 data.sls 修 改 成 如 下 形式 ， 其 中 ， 


语法 ， 更 多 信息 请 访问 jinja2 官 网 语法 介绍 ， 网 址 为 http://jinja.pocoo.org/docs/templates/。 


“if...else...endfi” 为 jinja2 的 模板 


appname: website 
flow: 
maxconn: 30000 
maxmem: 6G 
($ if grains['id'] == 'SN2013-08-022' %} 


通过 查看 被 控 主 机 的 pillar 数 据 ， 可 以 看 到 maxcpu 的 差异 ， 如 图 10-14 所 示 。 


[rooteSN2013-08-020 ~]# salt 'SN2013-08-021' pillar.data flow. 
SN2013-08-021: 


maxconn: 
30000 
maxcpu: 
4 
maxmem : 
6G 
[rooteSN2013-08-020 ~]# salt 'SN2013-08-027' pillar.data flow 


S5N2013-08-02?: 


maxconn: 
30000 

maxcpu: 

maxmem : 


图 10-14 不 同 主机 产生 的 pillar 数 据 差异 


state 是 Saltstack 最 核心 的 功能 ， 通 过 预先 定制 好 的 sls (salt state file) 文件 对 被 控 主 机 进行 状态 管理 ， 支 持 包 括 程序 包 (pkg) 、 文 件 (file) 、 网 络 配置 (network) 、 系 统 服 务 (service) 、 系 统 
用 户 (user) 等 ， 更 多 状态 对 象 风 http://docs.saltstack.com/ref/states/all/index.html, 


1n G 1 ctAtat1223W/ 
10.6. StateHyXxE X. 


state 的 定义 是 通过 sls 文 件 进行 描述 的 ， 支 持 YAML 语 法 ， 定 义 的 规则 如 下 : 


ID: 
SState: 
- $state: states 


其 中 : 
- $D， 定 义 state 的 名 称 ， 通 常 采 用 与 描述 的 对 象 保持 一 致 的 方法 ， 如 apache、nsginx 等 ; 


- $State， 须 管理 对 象 的 类 型 ， 详 见 http://docs.saltstack.comy/tef/states/all/index.html; 


 $state: states， 定 制 对 象 的 状态 。 


官网 提供 的 示例 如 下 : 


apache: 


iP 

2 kg: 

E - installed 

4 service: 

3 - running 

6 - require: 

7 - pkg: apache 


上 述 代码 检查 apache 软 件 包 是 否 已 安装 状态 ， 如 果 未 安装 ， 将 通过 yum 或 apt 进 行 安装 ; 检查 服务 apache 进 程 是 否 处 于 运行 状态 。 下 面 详细 进行 说 明 : 

第 1 行 用 于 定义 state 的 名 称 ， 此 示例 为 apache， 当 然 也 可 以 取 其 他 相关 的 名 称 。 

第 2 行 和 第 4 行 表示 state 声 明 开 始 ， 使 用 了 pkg 和 service 这 两 个 状态 对 象 。pkg 使 用 系统 本 地 的 软件 包 管 理 器 (yum 或 apt) 管理 将 要 安装 的 软件 ，service 管 理 系统 守护 进程 。 
第 3 行 和 第 5 行 是 要 执行 的 方法 。 这 些 方法 定义 了 apache 软 件 包 和 服务 目标 状态 ， 此 示例 要 求 软件 包 应 当 处 于 已 安装 状态 ， 服 务必 须 运 行 ， 如 未 安装 将 会 被 安装 并 启动 。 

第 6 行 是 关键 字 require， 它 确保 了 apache 服 务 只 有 在 成 功 安装 软件 包 后 才 会 启动 。 


Qs require: 在 运行 此 state 前 ， 先 运行 依赖 的 state 关 系 检 查 ， 可 配置 多 个 state 依 赖 对 象 ; watch: 在 检查 某 个 state 发 生变 化 时 运行 此 模块 。 
10.6.2 state 的 使 用 


state 的 入 口 文 件 与 pillar 一 样 ， 文 件 名 称 都 是 top.sls， 但 state 要 求 sls 文 件 必 须 存放 在 saltstack base 定 义 的 目录 下 ， 默 认为 /srwsalt。state 拉 述 配置 .sls 支 持 jinjia 模 板 、grains 及 pillar 引 用 等 ， 在 state 
的 逻辑 层次 定义 完成 后 ， 再 通过 salt*'state.highstate 执 行 生 效 。 下 面 扩展 10.5.1 节 定义 的 学 例 ， 结 合 grains 与 pillar， 实 现 一 个 根据 不 同 操作 系统 类 型 部 署 apache 环 境 的 任务 。 
1. 定 义 pillar 


[/srv/pillar/top.sls] 


base: 
Txi. 


- apache 


在 top.sls 中 引用 二 级 配置 有 两 种 方式 : 一 种 是 直接 引用 ， 如 本 示例 中 直接 引用 apache.sls; 另 一 种 是 创建 apache 目 录 ， 再 引用 目录 中 的 init.sls 文 件 ， 两 者 效果 是 一 样 的 。 为 了 规范 起 见 ， 笔 者 建议 采用 
二 级 配置 形式 ， 同 理 ，state 的 top.sls 也 采用 如 此 方式 。 


#mkidr /srv/pillar/apache # 创 建 apache 目 录 


[/srv/pillar/apache/init.sls] 


pkgs: 

($ if grains['os family'] == 'Debian' %} 
apache:  apache2 
($ elif grains['os family'] == 'RedHat' %} 
apache: httpd 
($ elif grains['os'] == 'Arch' %} 


apache: apache 
($ endif $2] 


测试 pillar 数 据 ， 执 行 salt*'pillar.data pkgs， 结 果 返 回 以 下 信息 ， 说 明 配 置 已 生效 。 


SN2013-08-021: 


apache: 
httpd 


2.xE M state 


[/srv/salt/top.sls] 


base: 
Txi. 


- apache 


[/srv/salt/apache/init.sls] 


apache: 
pkg: 
- installed 
- name: {{ pillar['pkgs']['apache'] }} 
service.running: 
- name: {{ pillar['pkgs']['apache'] }} 
- require: 
- pkg: (| pillar['pkgs']['apache'] }} 


在 配置 中 ，{{pillar['pkgs']['apache']}} 将 引用 匹配 到 操作 系统 发 行 版 对 应 的 pillar 数 据 ， 笔 者 的 环境 为 CentOS， 故 将 匹配 为 httpd， 检 查 目 标 主 机 是 否 已 经 安装 ,没有 则 进行 安装 (yum-y install 
httpd) ， 同 时 检查 apache 服 务 是 否 已 经 启动 ， 没 有 则 启动 (/etc/init.d/httpd start) 。 


3. 执 行 state 


执行 state 及 返回 结果 信息 见 图 10-15。 


[rooteSN2013-08-020 ~]# salt '*' 


state.highstate 
State: - pkg 
Name: httpd 
Function: installed 
Result: True 
Comment: The following packages were installed/updated: httpd. 
Changes: httpd: { new : 2.2.15-29.el6.centos 


dio 


State: - service 

Name : httpd 

Function: running 
Result: True 
Comment : Started Service httpd 
Changes: httpd: [rue 


图 10-15 “执行 state 的 结果 信息 


从 图 10-15 中 可 以 看 出 ， 结 果 返 回 两 种 对 象 类 型 结果 ， 分 别 为 pkg 与 service， 执 行 的 结果 是 自动 部 署 apache 2.2.15 环 境 并 启动 服务 。 
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本 示例 实现 一 个 集中 化 的 Nginx 配 置 管理 ， 根 据 业 务 不 同 设备 型 号 、 分 区 


、 人 分区、 内核 参 数 的 差异 化 ， 动 态 产生 适合 本 机 环境 的 Nginx 配 置 文件 。 本 示例 结合 了 saltstack 的 grains、grains module 
state, jinja (template) 等 组 件 。 


. pillar, 


(1777 rT Lxz5M np 
10.7.1 -环境 品 明 


HJ 


具体 对 照 表 10-1 环 境 说 明 表 ， 此 处 省 略 。 
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10.7.2 EITA HH 


master 主 配置 文件 的 关键 配置 项 如 下 : 


[/etc/salt/master] (配置 片段 ) 


nodegroups: 
weblgroup:  'LGSN2012-07-010. SN2012-07-011. SN2012-07-012' 
web2group:  'L8SN2013-08-021, SN2013-08-022' 
file roots: 
base: 
- /srv/salt 
pillar roots: 
base: 
- /srv/pillar 


定义 的 pillar、module api、state 目 录 结 构 ， 如 图 10-16 所 示 。 


api 
L— run.py 
pillar 
top.sls 
weblserver.sls 
web2server.sls 
- Salt 


grains 

ps nginx config.py 
modules 

nginx 

L— nginx.conf 
nginx.sls 

top.sls 


directories, 


图 10-16 示例 目录 结构 


使 用 Python 编写 grains module， 实 现 动态 配置 被 控 主 机 grains 的 max_open file 键 ， 值 为 ulimit-n 的 结果 ， 以 便 动态 生成 Nginx.conf 中 的 worker_rlimit_nofile、worker_connections 参 数 的 值 ， 具 
体 代 码 如 下 : 


import os, sys, commands 
def NginxGrains () : 
»'' 


return Nginx config grains value 
»'' 


grains = (] 
max open file-65536 


getulimit-commands.getstatusoutput ('source /etc/profile; ulimit -n') 
except Exception, e: 
pass 
if getulimit[0]--0: 
max open file-int (getulimit [1] 
grains['max open file'] - max open file 
return grains E B 


代码 说 明 见 “10.4.2 定 义 Grains 数 据 ”得 “ 主 控 端 扩展 模块 定制 Grains 数 据 ” 


同步 grains 模 块 ， 运 行 : 


# salt '*' saltutil.sync all 


刷新 模块 (让 minion 编 译 模块 ) ， 运 行 : 
* salt '*' sys.reload modules 


验证 max_ open file key 的 key 操 作 命令 见 图 10-17。 


[rooteSN2013-808-070 ~]# salt "=" grains.item max open file 
SN2013-08-022: 
max open file: 65535 
SN2013-088-0?1: 
max open file: 65535 
SN2012-08/-011: 


max open file: 65535 
SN20172-08/-012: 

max open file: 65535 
SN2012-07 90108: 

max open file: 65535 


图 10-17  J&Xrmax open. file key 的 key 信 息 


107.3 ”配置 pillar 
本 示例 使 用 分 组 规则 定义 pillar， 即 不 同 分 组 引用 各 自 的 sls 属 性 ， 使 用 match 属 性 值 进行 区 分 ， 除 了 属性 值 为 nodegroup 外 ， 还 支持 grain、pillar 等 形式 。 以 下 是 使 用 grain 作 为 区 分 条 件 例子 : 


dev: 
'os: Debian': 
- match: grain 
- servers 


本 示例 通过 /etc/salt/master 中 定义 好 的 组 信息 ， 如 web1group 与 web2group 与 业务 组 ,分 别 引 用 web1server.sls 与 web1server.sls， 详 见 /srv/pillar/top.sls 中 的 内 容 : 


[/srv/pillar/top.sls] 


base: 
weblgroup: 
- match:  nodegroup 
- weblserver 
web2group: 
- match:  nodegroup 
- web2server 


定义 私有 配置 。 本 示例 通过 pillar 来 配置 web_root 的 数据 ， 当 然 ， 也 可 以 根据 不 同 需求 进行 定制 ， 格 式 为 python 字 典 形式 ， 即 "key: value", 


[/srv/pillar/web1server.sls] 


nginx: 
root:  /www 


[/srv/pillar/web2server.sls] 


nginx: 
root: /data 


通过 查看 不 同 分 组 主机 的 pillar 信 息 来 验证 配置 结果 ， 如 图 10-18 所 示 。 


[roote5N2013-05-020 ~|# salt 'SN2015-085-09271' pillar.data nginx 
35N20135-08-071: 


nginx: 


root: 
/data 
[roote5N/013-08-070 ~|# salt 'SN7012-0/-0180' pillar.data nginx 
SN2012-0/-010: 


"IT FTITE| 
i n n 


图 10-18 ”不同 分 组 的 pillaf 差 异 信息 


定义 入 口 top.sls: 


[/srv/salt/top.sls] 


base: 
1 大 1T。 


- nginx 


下 面 定义 nginx 包 、 服 务 状态 管理 配置 sls， 其 中 ，salt: /nginx/nginx.conf 为 配置 模板 文件 位 置 ，-enable: True 检查 服务 是 否 在 开机 自 启动 服务 队列 中 ， 如 果 不 在 则 加 上 ， 等 价 于 chkconfig nginx 
on 命令 “reload: True”， 表 示 服 务 支持 reload 操 作 ， 不 加 则 会 默认 执行 restart 操 作 。watch 一 则 检测 /etc/nginx/nginx.conf 是 否 发 生变 化 ， 二 则 确保 nginx 已 安装 成 功 。 


[/srv/salt/nginx.sls] 


nginx: 
pkg: 

- installed 

file.managed: 

- source: salt: //nginx/nginx.conf 
name:  /etc/nginx/nginx.conf 
user: root 
group: root 
mode: 644 

- template:  jinja 
service.running: 
- enable: True 


- reload: True 

- watch: 
- file: /etc/nginx/nginx.conf 
- pkg: nginx 


定制 Nginx 配 置 文件 jinja 模 板 ， 各 参数 的 引用 规则 如 下 : 
.wotket_btocesses 参 数 采 用 grains[num_cpus] 上 报 值 (与 设备 CPU 核 数 一 致 ) ; 
.wotket_cpu_affinity 分 配 多 核 CPU， 根 据 当 前 设备 核 数 进行 匹配， 分别 为 2、4、8、 核 或 其 他 ; 
- worker rlimit nofile. worker connections 4 4 32 36 Ł 7] grains max open, file]; 

.toot 参 数 为 定制 的 billar[nginx][toot] 值 。 


[/srv/salt/nginx/nginx.conf] 


4 For more information on configuration, see: 


user nginx; 

worker processes {{ grains['num cpus'] }}; 
(& if grains['num cpus'] == 2 $) 
worker cpu affinity 01 10; 

($ elif grains['num cpus'] == 5} 


worker cpu affinity 1000 0100 0010 0001; 
($ elif grains['num cpus'] >= 8 $J 
worker cpu affinity 00000001 00000010 00000100 00001000 00010000 00100000 01000000 10000000; 
($ else %} 
worker cpu affinity 1000 0100 0010 0001; 
($ endif $] 
worker rlimit nofile {{ grains['max open file'] }}; 
error log /var/log/nginx/error.1log; 
#error log /var/log/nginx/error.log notice; 
#error log /var/log/nginx/error.log info; 
pid  . /var/run/nginx.pid; 
events { 

Worker connections {{ grains['max open file'] }}; 


} 
http { 
include /etc/nginx/mime. types; 


default type application/octet-stream; 
log format main  'S$remote addr - $remote user [$time local] "S$request" ' 
'$status $body bytes sent "$http referer" ' 
'"Shttp user agent" "$http: x forwarded for"'; 
access log /var/log/nginx/access.log main: 
sendfile On; 
$tcp nopush On; 
fkeepalive timeout 0; 
keepalive timeout 65; 
#gzip on; 
4 Load config files from the /etc/nginx/conf.d directory 
# The default server is in conf.d/default.conf 
#include /etc/nginx/conf.d/*.conf; 
server { 
listen 80 default server; 
server name  ; 
#charset koi8-r; 
#access log logs/host.access.log main; 
location / ( 
root {{ pillar['nginx']['root'] }}; 
index index.html index.htm; 
} 
error page 404 /404.html; 
location = /404.html { 
root /usr/share/nginx/html; 
} 


# redirect server error pages to the static page /50x.html 


error page 500 502 503 504 /50x.html; 
location = /50x.html { 
root /usr/share/nginx/html; 


) 


执行 刷新 state 配 置 ， 结 果 如 图 10-19 所 示 。 


[rooteSN2013-08-020 —-]£ salt '*' state.highstate 
SN2013-08-0971: 


e 


| 


Vérc/naimuna nx. cont 
Function: managed 
Result: True 
Comment : File /etc/nginx/nginx.conf updated 
changes : diff: New file 


Function: nstalled 
tesult: True 
Comment : Ihe following packages were installed/updated: nginx. 
changes: nginx: 1 new : 1.0.15-5.el6 


service 
nginx 
Function: TUORUM 
Result True 


Comment : Service nginx has been enabled, and is running 
langes: nginx: [rue 


图 10-19 ”刷新 state 返 回 结果 (部 分 截图 ) 


10.7.5“” 校 验 结果 


登录 web1group 组 的 一 台 服 务 器 ， 检 查 Nginx 的 配置 ， 尤 其 是 变量 部 分 的 参数 值 ， 配 置 片段 如 下 : 


[/etc/nginx/nginx.conf] 


user nginx; 
worker processes 2; 
worker cpu affinity 01 10; 
worker rlimit nofile 65535; 
error log /var/log/nginx/error.1log; 
#error log /var/log/nginx/error.log notice; 
#error log /var/log/nginx/error.log info; 
pid /var/run/nginx.pid; 
events { 
worker connections 65535; 


location / { 
root  /www; 
index index.html index.htm; 


再 登录 web2group 组 的 一 台 服 务 器 ， 检 查 Nginx 的 配置 ， 对 比 web1group 组 的 服务 器 差异 化 ， 包 括 不 同 硬件 配置 、 内 核 参数 等 ， 配 置 片段 如 下 : 


[/etc/nginx/nginx.conf] 


user nginx; 
worker processes 4; 
worker cpu affinity 1000 0100 0010 0001; 
worker rlimit nofile 65535; 
error log /var/log/nginx/error.1log; 
#error log /var/log/nginx/error.log notice; 
#error log /var/log/nginx/error.log info; 
pid /var/run/nginx.pid; 
events { 

worker connections 65535; 


location / { 
root /data:; 
index index.html index.htm; 


至 此 ， 一 个 模拟 生产 环境 Web 服 务 集群 的 配置 集中 化 管理 平台 已 经 搭建 完成 ， 大 家 可 以 利用 这 个 思路 扩展 到 其 他 功能 平台 。 


人 参考 提示 10.1 至 10.6 节 的 Saltstack 介 绍 可 参考 官网 文档 http://docs.saltstack.com/en/latest/。 


第 11 草 ”统一 网 络 控制 器 Func 详 解 


Func (Fedora Unified Network Controller) 是 由 红帽子 公司 以 Fedora 平 台 构 建 的 统一 网 络 控制 器 ， 是 为 解决 集群 管理 、 监 控 问 题 而 设计 开发 的 系统 管理 基础 框架 ， 官 网 地 址 为 


https://fedorahosted.org/func。 它 是 一 个 能 有 效 简化 多 服务 器 系统 管理 工作 的 工具 ， 它 易于 学 习 、 使 用 和 扩展 ， 功 能 强大 ， 只 需要 极 少 的 配置 和 维护 操作 。Func 分 为 master 和 slave 两 部 分 ，master 为 主 


控 端 ，slave 为 被 控 端 。Func 上 有 具有 以 下 特点 。 
. 支持 在 主 控 机 上 管理 任意 多 台 服 务 器 ， 或 任意 多 个 服务 器 组 。 
* 支持 命令 行 方式 发 送 远程 命令 或 者 远程 获取 数据 。 
: Func 通 信 基 于 XMLRPC 和 SSL 标 准 协议 ， 具 有 模块 化 的 可 扩展 的 特点 。 与 Saltstack 认 证 方式 一 致 。 
: 可 以 通过 Kickstatt 预 安装 Func 到 系统 中 ， 自 动 注册 到 主 控 服 务 器 端 。 
: 任何 人 都 可 以 通过 Func 提 供 的 Python API 轻 松 编写 自己 的 模块 ， 以 实现 具体 功能 扩展 。 而 且 任 何 Func 命 令 完成 的 工作 ， 都 能 通过 API 编 程 实现 。 
提供 封装 大 量 通用 的 服务 器 管理 命令 模块 。 


| Func 平 台 没 有 与 数据 库 关 联 ， 不 需要 复杂 的 安装 与 配置 ， 服 务 器 间 安 全 证 书 的 分 发 都 是 自动 完成 的 。 


Func 与 Saltstack 在 主 、 被 控 端 建立 信任 机 制 是 一 样 的 ， 都 采用 了 证 书 + 签名 的 方式 。 相 比 Saltstack 或 Ansible，Func 在 文件 配置 、 状 态 管 理 方面 还 是 空白 ， 但 在 远程 命令 
方面 还 是 能 体现 出 其 优势 ， 适 合 中 小 型 服务 集群 的 远程 命令 执行 、 文 件 分 发 的 工作 ， 同 时 API 支 持 跨 语言 ， 可 以 与 现 有 运营 平台 打通 ， 实 现 交互 式 更 强 、 体 验 更 好 的 自动 化 运营 平台 。 


11.1 Func 的 安装 


Func 需 要 在 主 控 端 、 被 控 端 部 署 环 境 ， 建 议 读者 采用 yum 的 方式 实现 部 署 。 目 前 Func 最 新 版 本 为 0.28， 由 func、certmaster、pyOpenSSL 三 个 组 件 组 成 。 下 面 详细 讲解 Func 的 安装 


11.1.1 ”业务 环境 说 明 


为 了 方便 读者 理解 ， 笔 者 通过 虚拟 化 环境 部 署 功能 服务 器 来 进行 演示 ， 操 作 系 统 版 本 为 CentOS release 6.4， 自 带 Python 2.6.6。 相 关 服 务 器 信息 如 表 11-1 所 示 。 


表 11-1 业务 环境 表 说 明 


RE F 


Master SN2013-08-020 192.168.1.. 


minion SN2013-08-021 192.168.1. 


minion SN2013-08-022 192.168.1.: 


执行 、API 支 持 、 配 置 简单 等 


11.1.2 ”安装 Func 
1. 主 控 端 服务 器 安装 
主 控 端 部 署 在 主机 名 为 SN2013-08-020 的 设备 上 ， 通 过 yum 方 式 安 装 ， 如 下 : 


# yum install func -y 
4 /sbin/chkconfig --level 345 certmaster on 


在 设备 通信 上 Func 要 求 使 用 主机 名 来 识别 ， 在 没有 内 部 域名 解析 服务 的 情况 下 ， 可 通过 配置 主机 hosts 来 解决 主机 名 的 问题 。 主 控 端 hosts 配 置 如 下 : 


[/etc/hosts] 


192.168.1.21 SN2013-08-021 
192.168.1.22 SN2013-08-022 
192.168.1.20 func.master.server.com 


修改 /etc/certmaster/minion.conf 的 certmaster 参 数 ， 指 向 证 书 服务 器 ， 即 主 控 端 服务 器 ，func 命 令 用 到 此 配置 ， 如 : 


[/etc/certmaster/minion.conf] 


# configuration for minions 
[main] 
certmaster = func.master.server.com 
certmaster port = 51235 

log level = DEBUG 

cert dir = /etc/pki/certmaster 


启动 证 书 服务 : 


# /sbin/service certmaster start 


配置 iptables， 开 通 192.168.1.0/24 网 段 访 问 证 书 服务 51235 (certmaster 服 务 ) 端口 。 


# iptables -I INPUT -s 192.168.1.0/24 -p tcp --dport 51235 -j ACCEPT 


至 此 ， 主 控 端 配置 完毕 。 
2. 被 控 端 服务 器 安装 


被 控 端 部 署 在 主机 名 为 SN2013-08-021、SN2013-08-022 的 设备 上 ， 同 样 通过 yum 方 式 安装 ， 如 下 : 


# yum install func -y 
# /sbin/chkconfig --level 345 funcd on 


配置 hosts 信 息 : 


192.168.1.20 func.master.server.com 


修改 /etc/certmastevVminion.conf 的 certmaster 人 参数 ， 以 便 指 向 证 书 服务 器 发 出 签名 请 求 ， 建 立信 任 关 系 ， 如 : 


[/etc/certmaster/minion.conf] 


# configuration for minions 
[main] 
certmaster = func.master.server.com 
certmaster port = 51235 

log level = DEBUG 

cert dir - /etc/pki/certmaster 


修改 /etc/func/minion.conf 的 minion_name 参 数 ， 作 为 被 控 主 机 的 唯一 标识 ， 一 般 使 用 主机 名 ,以 SN2013-08-021 主 机 为 例 ， 配 置 如 下 : 


# configuration for minions 
[main] 
log level = INFO 

acl dir - /etc/func/minion-acl.d 
listen addr - 
listen port = 51234 

minion name = SN2013-08-021 
method log dir = /var/log/func/methods/ 


启动 func 服 务 : 


# /sbin/service funcd start 


配置 iptables， 开 通 192.168.1.20 主 控 端 主机 访问 本 机 51234 (func 服 务 ) 端口 。 


# iptables -I INPUT -s 192.168.1.20 -p tcp --dport 51234 -j ACCEPT 


至 此 ， 被 控 端 配置 完毕 。 


3. 证 书签 名 


在 主 控 端 运行 certmaster-ca--list 获 取 当 前 请 求证 书签 名 的 主机 清单 ， 如 : 


# certmaster-ca --list 
sn2013-08-021 
sn2013-08-022 


证 书签 名 通过 certmaster-ca--sign hostname 命 令 来 完成 ， 如 : 


# certmaster-ca --sign sn2013-08-021 


当然 ， 也 可 以 结合 --list、--sign 参 数 实现 一 键 完成 所 有 主机 的 签名 操作 ， 如 : 


# certmaster-ca --sign 'certmaster-ca --list' 


Func 也 提供 了 类 似 Saltstack 自 动 签名 的 机 制 ， 通 过 修改 /etc/certmaster/certmaster.conf 的 参数 autosign=no 为 autosign=yes 即 可 。 


使 用 func"*"list_minions 查 看 已 经 完成 签名 的 主机 和 名， 如: 


# func '*' list minions 
sn2013-08-021 
sn2013-08-022 


删除 (注销) 签名 主机 使 用 certmaster-ca-c hostname, 4: 


# certmaster-ca -c sn2013-08-021 


校 验 安装 、 任 务 签名 是 否 正 确 ， 通 过 func"*"ping 命 令 来 测试 ， 如 图 11-1 所 示 。 


[rooteSN2013-08-020 func]# func "*" ping 


[ ok ... ] sn2013-08-022 
[ ok ... ] sn2013-08-021 


图 11-1 测试 认证 主机 的 连通 性 


Qu 对 已 注销 的 被 控 服 务 器 ， 要 重新 注册 ， 先 删除 被 控 主 机 端 /etc/pPKi/cetrtmaster/ 下 的 证 书 文件 ， 再 运 3 行 cettmastef-tequest 进 行 证 书 请 求 ， 具 体操 作 步 骤 如 下 : 


# rm -rf /etc/pki/certmaster/ 主 机 名 .* 
# /usr/bin/certmaster-request 


11.2 ” Func 常用 模块 及 API 


Func 提 供 了 非常 丰富 的 功能 模块 ， 包 括 CommandModule (执行 命令 ) . CopyFileModule (拷贝 文件 ) CpuModule (CPU 信息) 、DiskModule (磁盘 信息 ) 、FileTrackerModule (文件 跟 
Ex). IPtablesModule (iptables 管 理 ) 、MountModule (Mount 挂 载 ) 、NagiosServerModule (Nagios 管 理 ) 、NetworkTest (网 络 测试 ) 、ProcessModule (进程 管理 ) 、 
SysctIModule (sysctl 管 理 ) , SNMPModule (SNMP 信 息 ) ， 等 等 ， 更 多 模块 介绍 见 官网 模块 介绍 : https://fedorahosted.org/func/wiki/ModulesList。 命 令 行 调用 模块 格式 : 


func< 目 标 主 机 >call<module_name (模块 名 ) > «method name (方法 名 ) »«module args (模块 参数 ) > 
模块 命令 行 执行 结果 都 以 Python 的 元 组 字符 串 返 回 (API 以 字典 形式 返回 ) ， 这 对 后 续 进 行 结果 集 的 解析 工作 非常 有 利 ， 例 如 ， 远 程 运 行 “df-m” 命令 的 运行 结果 如 图 11-2 所 示 。 


[root8SN2013-08-020 ~] func "SN2013-808-072" call command run "df -m" 
('sn2013-08-022', 
LP 


'Filesystem 1M-hlaocks Used Available Use% Mounted on*n/dev/sdal 14765 PTA 
11286 20% Antmpfs 242 8 2427 O% /dev/shmsn/dev/sda3 
85 159 4004 4w /datuüNn', 
ï "D 


图 11-2 返回 主机 内 存 使 用 信息 


在 所 有 模块 中 ，CommandMeodule 模 块 最 常用 ， 可 以 在 目标 被 控 主 机 执行 任意 命令 。 笔 者 建议 使 用 API 方 式 对 应 用 场景 的 逻辑 进行 封装 ， 将 权限 放 到 一 个 预先 定制 好 的 方 框 中 ， 实 现 收敛 操作 。 下 面 对 
Func 常 用 的 模块 一 一 进行 讲解 。 


11.2.1 选择 目标 主机 
Func 选 择 目 标 主机 操作 对 象 支持 “* ”与 “? ”方式 匹配 ， 其 中 “*” 代表 任意 多 个 字符 ，“? ”代表 单个 任意 字符 ,例如 : 


# func "SN2013-*-02? " call command run "uptime" 


"SN2013-*-02? ”在 本 文 环 境 中 将 匹配 到 SN2013-08-021、SN2013-08-022 两 台 主 机 ， 可 以 根据 实际 应 用 场景 随意 组 合 。 例 如 ， 我 们 定义 的 多 台 Web 业 务 服务 器 主机 名 分 别 为 : web1、web2、 
web3、...、webn.webapp.com， 要 查看 所 有 Web 应 用 的 uptime 信 息 可 以 运行 : 


# func "web*.webapp.com" call command run "uptime" 


多 个 目标 主机 名 使 用 分 号 分 隔 ， 如 : 


# func "web.example.org; mailserver.example.org; db.example.org" call command run "df -m" 


11.2.2 ”常用 模块 详解 
1. 执 行 命令 模块 
(1) 功能 
CommandModule 实 现 Linux 远 程 命令 调用 执行 。 
(2) 命令 行 模式 


# func "*" call command run "ulimit -a" 
# func "SN2013-08-022" call command run "free -m" 


(3) API 模 式 


import func.overlord.client as func 
client = func.Client ("SN2013-08-022") 
print client.command.run ("free -m") 


2. 文 件 拷贝 模块 
(1) 功能 
CopyFileModule 实 现 主 控 端 向 目标 主机 拷贝 文件 ， 类 似 于 scp 的 功能 。 


(2) 命令 行 模式 


# func "SN2013-08-022" copyfile -f /etc/sysctl.conf --remotepath /etc/sysctl.conf 


(3) API 模 式 


import func.overlord.client as func 


client = func.Client ("SN2013-08-022") 
client.local.copyfile.send ("/etc/sysctl.conf", "/tmp/sysctl.conf") 
3.CPU 信 息 模 块 

(1) 功能 


CpuModule 获 取 远 程 主机 CPU 信 息 ， 支 持 按时 间 (Rb) 采样 平均 值 ， 如 下 面 示例 中 的 参数 “10”。 
(2) 命令 行 模式 


# func "SN2013-08-022" call cpu usage 
4 func "SN2013-08-022" call cpu usage 10 


(3) API 模 式 


import func.overlord.client as func 
client = func.Client ("SN2013-08-022") 
print client.cpu.usage (10) 


4 .磁盘 信 息 模块 

(1) 功能 

DiskModule 实 现 获 取 远 程 主机 的 磁盘 分 区 信息 ， 参 数 为 分 区 标签 ， 如 /data 分 区 。 
(2) 命令 行 模式 


# func "SN2013-08-022" call disk usage 
# func "SN2013-08-022" call disk usage /data 


(3) API 模 式 


import func.overlord.client as func 
client = func.Client ("SN2013-08-022") 
print client.disk.usage ("/dev/sda3") 


5. 拷 贝 远程 文件 模块 
(1) 功能 
GetFileModule 实 现 拉 取 远程 Linux 主 机 指定 文件 到 主 控 端 目录 ， 不 支持 命令 行 模式 ,。 


(2) API 模 式 


import func.overlord.client as func 
] — func.Client ("SN2013-08-022") 
.local.getfile.get ("/etc/sysctl.conf", "/tmp/") 


n 
T 
[0] 
3 
Cr Ç ( 


6.iptables 管 理 模 块 


(1) 功能 


IPtablesModule 实 现 远程 主机 iptables 配 置 。 


(2) 命令 行 模式 


# func "SN2013-08-022" call iptables.port drop to 53 192.168.0.0/24 udp src 
# func "SN2013-08-022" call iptables drop from 192.168.0.10 


(3) API 模 式 


import func.overlord.client as func 
client = func.Client ("SN2013-08-022") 
client.iptables.port.drop to (8080, ^"192.168.0.10", "tcp", "dst") 


7. 系 统 硬 件 信 息 模 块 
(1) 功能 
HardwareModule 返 回 远程 主机 系统 硬件 信息 。 


(2) 命令 行 模式 


# func "SN2013-08-022" call hardware info 
# func "SN2013-08-022" call hardware hal info 


(3) API 模 式 


import func.overlord.client as func 

client = func.Client ("SN2013-08-022") 

print client.hardware.info (with devices-True) 
print client.hardware.hal info () 


8. 系 统 Mount 管 理 模块 
(1) 功能 
MountModule 实 现 远程 主 机 Linux 系 统 挂 载 、 利 载 分 区 管理 。 


(2) 命令 行 模式 


i func "SN2013-08-022" call mount list 
# func "SN2013-08-022" call mount mount /dev/sda3 /data 
# func "SN2013-08-022" call mount umount "/data" 


(3) API 模 式 


import func.overlord.client as func 
client = func.Client ("SN2013-08-022") 
print client.mount.list () 
print client.mount.umount ("/data") 
t client.mount.mount ("/dev/sda3", "/data") 


9. 系 统 进程 管理 模块 
(1) 功能 

ProcessModule 实 现 远程 Linux 主 机 进程 管理 。 
(2) 命令 行 模式 


func "SN2013-08-022" call process info "aux" 
func "SN2013-08-022" call process pkill nginx -9 
func "SN2013-08-022" call process kill nginx SIGHUP 


= H 


(3) API 模 式 


import func.overlord.client as func 


client = func.Client ("SN2013-08-022") 
print client.process.info ("aux") 
print client.process.pkill ("nginx",  "-9") 
print client.process.kill ("nginx",  "SIGHUP") 
10. 系 统 服务 管理 模块 

(1) 功能 


ServiceModule 实 现 远程 Linux 主 机 系统 服务 管理 。 
(2) 命令 行 模 式 


# func "SN2013-08-022" call service start nginx 


(3) API 模 式 


import func.overlord.client as func 
client = func.Client ("SN2013-08-022") 


print client.service.start ("nginx") 


11. 系 统 内 核 参数 管理 模块 


(1) 功能 
SysctIModule 实 现 远程 Linux 主 机 系统 内 核 参数 管理 。 


(2) 命令 行 模式 


func "SN2013-08-022" call sysctl list 
func "SN2013-08-022" call sysctl get net.nf conntrack max 
func "SN2013-08-022" call sysctl set net.nf conntrack max 15449 


=E H 


(3) API 模 式 


import func.overlord.client as func 

client = func.Client ("SN2013-08-022") 

print client.sysctl.list () 

print client.sysctl.get ('net.ipv4.icmp echo ignore broadcasts') 
print client.sysctl.set ('net.ipv4.tcp syncookies', 1) 


func 命 令 功能 参数 举例 : 


1) 查看 所 有 主机 uptime， 开 启 5 个 线程 异步 运行 ， 超 时 时 间 为 3 秒 ， 命 令 如 下 : 


# func -t 3 "*" call --forks-"5" --async command run "/usr/bin/uptime" 


2) 格式 化 输出 结果 ， 默 认 格 式 为 Python 的 元 组 ， 分 别 添 加 --jsion 或 --Xxml 来 输出 JSJON 及 XML 和 格式， 命令 如 下 : 


# func -t 3 "*" call --forks-"5" --json --async command run "/usr/bin/uptime" 


11.3 上 自 定义 Func 异 块 
Func 自 带 的 模块 已 经 非常 丰富 ， 但 在 日 常 系 统 运 维 当中 ， 尤 其 是 面 对 大 规模 的 服务 器 集群 、 不 同类 别 的 业务 平台 ， 此 时 Func 自 带 的 模块 或 许 已 经 不 能 满足 我 们 的 需求 ， 所 以 有 必要 通过 自 定 模块 来 填补 
这 块 的 不 足 。 本 节 介 绍 一 个 简单 的 Func 自 定义 模块 的 ， 通 过 采用 Func 自 带 的 建 模块 工具 func-create-module 来 现实 。 


(1) 自 定 义 模块 步骤 


如 图 11-3 所 示 ， 自 定义 模块 分 为 四 个 步骤 进行 ， 第 一 步 生成 模块 ， 即 通过 fun-create-module 命 令 创建 模块 初始 模板 ; 第 二 步 编写 逻辑 ， 即 填充 我 们 的 业务 功能 逻辑 ， 生 成 模块 ; 第 三 步 分 发 模块 ， 将 
编写 完成 的 模块 分 发 到 所 有 被 控 主 机 ; 第 四 步 执行 已 经 分 发 完成 的 模块 ， 调 用 方法 与 Func 自 带 模 块 无 差异 。 详 细 过 程 见 图 11-3。 


图 11-3” 自 定义 模块 发 布 流程 


(2) 生成 模块 


切换 到 Func 安 装 包 minion 模 块 存 储 目录 。 笔 者 使 用 的 是 系统 自 带 的 Python 2.6， 具 体 路 径 为 /usr/lib/python2.6/site-packages/func/minion/modules。 


# cd /usr/lib/python2.6/site-packages/func/minion/modules 


运行 创建 模块 命令 func-create-module， 根 据 图 11-14 填 写 相关 信息 。 


[ rooteSN2013-08-070 modules]|£ func-create-module 
Module Name: MyModule 

Description: My module for func. 

Author: liutiansi 

Email: liutiansi&gmatil. com 


Leave blank to finish. 

Method: echo 

Method: 

Your module 1s ready to be hacked on. Wrote out to mymodule.py. 


图 11-4 创建 模块 时 填写 的 信息 


最 终生 成 了 一 个 初始 化 的 模块 代码 文件 nymodule.py: 


[/usr/lib/python2.6/site-packages/func/minion/modules/mymodule.py] 


# 
# Copyright 2014 
# liutiansi «liutiansiGgmail.com» 


This software may be freely redistributed under the terms of the GNU 
general public license. 


You should have received a copy of the GNU General Public License 
along with this program; if not, write to the Free Software 
Foundation, Inc., 675 Mass Ave, Cambridge, MA 02139, USA. 
import func module 

class Mymodule (func module.FuncModule) : 

# Update these if need be. 


=E xb HE db dE db HR 


version = "0.0.1" 
api version - "0.0.1" 
description = "My module for func." 


def echo (self) ; 


TODO: Document me http://www.hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressed/14964/OEBPS/Text/... 


pass 
(3) 编写 逻辑 
这 一 步 只 需 在 上 述 模块 基础 上 做 修改 即 可 ， 如 模块 实现 一 个 根据 指定 的 条 数 返回 最 新 系统 日 志 (/var/log/messages) 信息 ， 修 改 后 的 代码 如 下 : 


[/usr/lib/python2.6/site-packages/func/minion/modules/mymodule.py] 


Copyright 2010 
liutiansi «liutiansi(gmail.com» 


This software may be freely redistributed under the terms of the GNU 
general public license. 


You should have received a copy of the GNU General Public License 
along with this program; if not, write to the Free Software 
Foundation, Inc., 675 Mass Ave, Cambridge. MA 02139, USA. 
import func module 

from func.minion import sub process 

class Mymodule (func module.FuncModule) : 

# Update these if need be. 


JE -b ob 2b db 2b db b db S 


version = "0.0.1" 
api version - "0.0.1" 
description = "My module for func." 


def echo (self, vcount) : 


Www 


TODO: response system messages info 

www 

command-"/usr/bin/tail -n "+str (vcount) +" /var/log/messages" 

cmdref = sub process.Popen (command, stdout-sub process.PIPE, 
stderr-sub process.PIPE, shell-True, 
close fds-True) 

data = cmdref.communicate () 

return (cmdref.returncode, data[0], data[1]) 


(4) 分 发 模块 


首先 编写 分 发 模块 的 功能 ， 使 用 Func 的 copyfile 模 块 来 实现 ， 原 理 比较 简单 ， 即 读 取 主 控 端 func minion 包 下 的 模块 文件 (参数 传 入 ) ， 通 过 Func 的 copyfile 模 块 同步 到 目标 主机 的 同 路 径 下 。 一 次 编 
写 可 持续 使 用 ,源码 如 下 : 


[/home/test/func/RsyncModule.py] 


#! /usr/bin/python 

import sys 

import func.overlord.client as fc 
import xmlrpclib 

module = sys.argv[1] 
pythonmodulepath-"/usr/lib/python2.6/site-packages/func/minion/modules/" 
client = fc.Client ("*") 

fb = file (pythonmodulepath-Hmodule,  "r") .read O) 

data = xmlrpclib.Binary (fb) 
# 分 发 模块 
print client.copyfile.copyfile (pythonmodulepath+ module, data) 
# 重 启 Func 服 务 


print client.command.run ("/etc/init.d/funcd restart") 


分 发 模块 的 运行 结果 如 图 11-5 所 示 。 


[rootes5N2013-08-070 func]ft cd /home/test/func/ 
[roote5N2013-08-070 func]* cp /usr/lib/python?2 . 6/51 te-packages/func/minionZmodules/mymodule.py /home/test/func/ 
[rootesN2013-08-070 func |]# python RsyncModule.py mymodule.py 


I'sn2013-08-022': Ø, 'sn2013-0&5-0271'- Ø} 

i'sn2013-08-02?2': [60, 'Stopping func daemon: [ OK  ]Xn5tarting func daemon: [ OK Jn", ''], 'sn28013-88-0?1' : 
0, ‘Stopping func daemon: [ OK ]*nstarting func daemon: [ OK ]*n', I} 

[rooteSN2013-08-020 func]£ 


图 11-5 ”模块 分 发 结果 
检查 被 控 主 机 /usr/lib/python2.6/site-packages/func/minion/modules 目 录 是 否 多 了 一 个 mymodule.py 文 件 ， 是 则 说 明 模 块 已 经 成 功 分 发 。 
(5) 执行 模块 
最 后 ， 执 行 模块 及 返回 结果 见 图 11-6。 


[root8SN2013-08-0720 func]# func "SN2013-88-0?71" call mymodule echo 5 
i'sn2013-48-021': [8, 

"Jan 1 87:42:25 SN2013-88-0?1 ntpd[18048]: synchronized to 218./2.145.44, stratum 1«nlan 1 6 
/:46:19 SN2013-08-0?71 ntpd[1048]: time reset «233./56480 swnJan 1 0/:46:19 5N2013-08-021 ntpd[190498]: kernel tim 


e sync status change 2081*«nlan 4 83:48:44 SN2013-88-821 ntpd[1048]: synchronized to 2710./2.145.44, stratum 1*n.J 
an 4 03:45:44 SN?2015-08-6271 ntpd[1640]: no servers reachablewni', 
"EXE 


EJ11-6 ”执行 模块 结果 


正常 返回 了 5 条 /var/log/messages 人 信息， 完成 了 自 定义 模块 的 全 过 程 。 


J 


Func 通 过 非 Python API 实 现 远 程 调 用 ， 目 的 是 为 第 三 方 工 具 提 供 调 用 及 返回 接口 。Func 使 用 func-transmit 命 令 来 实现 ， 支 持 YAML 与 JSON 格 式 ， 实 现 了 跨 应 用 平台 、 语 言 、 工 具 等 ， 比 如 通过 Java 
或 C 生 成 JSJON 格 式 的 接口 定义 ， 通 过 fun-transmit 命 令 进 行 调 用 ， 使 用 上 非常 简单 ， 扩 展 性 也 非常 强 。 


定义 一 个 command 模 块 的 远程 执行 ， 分 别 采 用 YAML 及 JSON 格 式 进行 定义 ， 如 下 : 


[/home/test/func/run.yaml] 


clients:  "*" 

async: False 

nforks: 1 

module: command 

method: run 

parameters:  "/bin/echo Hello World" 


[/home/test/func/run.json] 


"Clients";  "*", 
"async": "False", 


"nforks": 1, 

"module": "command", 

"method": "run", 

"parameters":  "/bin/echo Hello World" 


各 参数 详细 说 明 如 下 。 

' clients， 目 标 主机 ，"*" 代 表 所 有 被 控 主机 ; 

. async， 是 否 异步 ， 是 一 个 布尔 值 ，True 为 使 用 异步 ，False 则 不 使 用 ; 
.hfotks， 启 用 的 线程 数 ， 用 数字 表示 ; 

: module， 模 块 名 称 ， 如 command、copyfile、ptocess 等 ; 

. method， 方 法 名 称 ， 如 command 模 块 下 的 tun 方 法 ; 

parameters, ZA, Je" /usr/bin/tail-100/var/log/messages" o 


通过 func-transmit 命 令 调用 不 同 接口 配置 ， 将 返回 不 同 的 格式 串 ， 如 图 11-7 和 图 11-8 所 示 。 


[rootesN2013-88-8780 func]£ func-transmit --yaml = run.vyaml 


图 11-7 返回 标准 的 YAML 格 式 


[rootesSN2013-08-070 funcl# func-transmit --json < run.j]son 


isn2613-658-0722"- [6, "Hello Worldwn", ""], "sn2815-08-021"-: [9, "Hello World«n", ^"]i 


图 11-8 返回 标准 的 JSON 格 式 


返回 的 两 种 格式 都 可 以 被 绝 大 部 分 语言 所 解析 ， 方 便 后 续 处 理 。 


11.5 Func 的 Facts 支 持 


Facts 是 一 个 非常 有 用 的 组 件 ， 其 功能 类 似 于 Saltstack 的 grains、Ansible 的 Facts， 实 现 获 取 远 程 主机 的 系统 信息 ， 以 便 在 对 目标 主机 操作 时 作为 条 件 进行 过 滤 ， 产 生 差 异 。Func 的 Facts 支 持 通 过 API 
来 扩展 用 户 自 己 的 属性 。Facts 由 两 部 分 组 成 ， 一 为 模块 (module) ， 另 为 方法 (method) ， 可 通过 list_fact_modules、list_fact_methods 方 法 来 查看 当前 支持 的 模块 与 方法 的 清单 ， 如 图 11-9 所 示 。 


[rootes5N2015-08-070 func | 六 func "*" call fact list fact modules 
i'sn2013-08-071': ['hardware', 'fact module' ], 
'&sn2013-08-07?'* ['hardware', 'fact module' ]! 
[rootesSN2013-08-020 func ]Z 
[rootes5N2013-08-0270 func]|f func "*" call fact list fact methods 
i 5n2013-08-071': ['hardware.cpu model', 
"kernel", 
'cpumodel', 
"hardware.kernel version', 
'cpuvendor' , 
"hardware.run level', 
"hardware.cpu vendor', 
"hardware.os name', 
'runlevel", 
"08" [; 
'sn2013-08-0722': ['hardware.cpu model', 
'"kernel', 
'cpumodel', 
"hardware.kernel version', 
'cpuvendor' , 
"hardware.run level', 
"hardware.cpu vendor', 
"hardware.os name', 
'runlevel"', 
‘Os |t 
图 11-9 查看 主机 支持 模块 及 方法 


在 使 用 Facts 时 ， 我 们 关注 它 的 方法 (func"*"call fact list fact_methods 显 示 的 清单 ) 即 可 ， 可 通过 命令 行 调用 Facts 的 call_ fact 方法 查看 所 有 主机 的 操作 系统 信息 ， 具 体 见 图 11-10。 


[roaotesN2013-08-070 func|£ func """ call fact call fact "os" 
i'sn24813-08-071': 'CentO0S release 6.4 (Final)', 
'sne813-08-022': 'Cent0S release 6.4 (Final)'i 
图 11-10 查看 主机 操作 系统 信息 
Fact 支 持 and 与 or 作为 条 件 表 达 式 连接 操作 符 ， 下 面 详细 介绍 。 
(1) and 表 达 式 --filter 
语法 : 


--filter "keyword[operator]value. keyworgd2[operator]value2" 
--filter "value in keyword, value ini keyword" 


示例 : 所 有 满足 内 核 (kernel) 版 本 大 于 或 等 于 2.6， 并 且 操 作 系统 信息 包含 CentOs 的 目标 主机 运行 Uptime 命 令 ， 如 图 11-11 所 示 。 


[rootesN2015-08-070 func]|& func "*" call --filter "kernels—-2.6,Cent0S5 in os" command run "uptime" 
('sn2013-68-022' , 
[@, 
" 04:29:41 up 1 day, 21:2/, 1 user, load average: 0.00, 0.00, 0.00^n', 


521 
('sn2013-68-071', 
[0, 
' 11:46:32 up 2 days, 98:36, 1 user, load average: 0.00, 0.00, 0.00\n', 


图 11-11 根据 fact 条 件 (and) 过 滤 主 机 
(2) or 表达 式 --filteror 
语法 : 


--filteror "keyword[operator]value, keyword2 [operator]value2" 
--filteror "value in keyword, value ini keyword" 


示例 : 所 有 满足 内 核 (kernel) 版 本 大 于 或 等 于 2.6， 或 者 运行 级 别 等 于 5 的 目标 主机 运行 df-m 命 令 ， 如 图 11-12 所 示 。 


[rootesN2813-05-070 func|& func """ call --filteror "kernels—2.6,runlevel-5" command run "df -m" 
('sn2013-08-02?', 
[@, 
"Filesystem 1M-blocks Used Available Uses Mounted on*n/dev/sdul 14705 
2138 11286 20% /ntmpfs 24? a 242 OW /dev/shmxn/dev/sda3 
4385 159 40 — 45 /dataMwn', 
“AJ 
C'sn2013-88-021', 
a, 
"Filesystem 1M-blocks Used Available Use% Mounted onMn/dev/sdal 14/65 
3091 10924 23% /Xntmpfs 242 ð Z4? ë 05 /dev/shm\n/dev/sda3 
4385 160 4003 4% /dataWwn', 


图 11-12 ”根据 fact 条 件 (or) 过 滤 主 机 


参考 提示 11.1 节 ~11.5 节 关于 Func 的 介绍 参考 官网 文档 https://fedorahosted.org/func/。 


随 着 云 时 代 的 到 来 ， 大 数据 (big data) 也 越 来 越 受 大 家 的 关注 ， 比 如 互联 网 行业 日 常生 成 的 运营 、 用 户 行为 数据 ， 随 着 时 间 及 访问 量 的 增长 这 一 规模 日 益 庞大 ， 单 位 可 达到 日 TB 或 PB 级 别 。 如 何在 如 
此 庞大 的 数据 中 挖 所 出 对 我 们 有 用 的 信息 ? 目前 业界 主流 存储 与 分 析 平 台 是 以 Hadoop 为 主 的 开源 生态 圈 ，MapReduce 作 为 Hadoop 的 数据 集 的 并 行 运算 模型 ， 除 了 提供 Java 编 写 MapReduce 任 务 外 ,还 
兼容 了 Streaming 方 式 ， 我 们 可 以 使 用 任意 脚本 语言 来 编写 MapReduce 任 务 ， 优 点 是 开发 简单 且 灵 活 。 本 章 详细 介绍 如 何 使 用 Python 语言 来 实现 大 数据 应 用 ， 将 分 别 通过 原生 Python 与 框架 
(Framework) 方式 进行 说 明 。 


Qi 因为 Hadoop 不 作为 本 章 的 主体 内 容 ， 所 以 将 不 对 其 架构 、 子 项 目 、 优 化 等 进行 说 明 。 


为 了 方便 读者 理解 ， 笔 者 通过 虚拟 化 环境 部 署 了 Hadoop 平 台 来 进行 演示 ， 操 作 系 统 版 本 为 CentOS release 6.4， 以 及 Python 2.6.6、hadoop-1.2.1、jdk1.6.0 45、mrjob-0.4.2 等 。 相 关 服 务 器 信息 如 
表 12-1 所 示 。 


表 12-1 环境 说 明 表 


角色 | ma | P | 功能 存储 分 区 


Master NameNode | Secondarynamenode | JobTracker /data 
Slave DataNode | Task Tracker /data 


Slave SN2012-07-011 192.168.1.22 DataNode | Task Tracker /data 


由 于 部 署 Hadoop 需 要 Master 访 问 所 有 Salve 主 机 实现 无 密码 登录 ， 即 配置 账号 公 钥 认证 ， 具 体 参 考 9.2.5 节 关于 配置 Linux 主 机 SSH 无 密码 访问 的 介绍 ， 本 节 将 不 再 陈述 。 
(1) 安装 


SSH 登 录 Master 主 机 ， 这 里 使 用 root 账 号 进行 相关 演示 。 安 装 JDK 环 境 : 


mkdir -p /usr/java/ && cd /usr/java 

wget http: //uni-smr.ac.ru/archive/dev/java/SDKs/sun/j2se/6/jdk-6u45-linux-x64.bin 
chmod +x jdk-6u45-linux-x64.bin 

./jdk-6u45-linux-x64.bin 

vi /etc/profile (配置 Java 环 境 变 量 ， 追 加 以 下 内 容 ) 

export JAVA HOME-/usr/java/jdk1.6.0 45 

export PATH-SPATH: S$JAVA HOME/bin 

export CLASSPATH-.: $JAVA HOME/jre/lib: $JAVA HOME/lib: $JAVA HOME/lib/tools.jar 

# cd /etc “使 环境 变量 生效 ) 

# . profile 
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toc 


安装 Hadoop， 版 本 为 1.2.1， 安 装 路 径 为 /usr/local。 


# cd /usr/local 
# wget http: //mirrors.cnnic.cn/apache/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz 
4 tar -zxvf hadoop-1.2.1.tar.gz 

# cd /usr/local/hadoop-1.2.1/conf 


修改 目录 (/usr/local/hadoop-1.2.1/conf) 中 的 四 个 Hadoop 核 心 配 置 文件 hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml， 具 体内 容 如 下 : 


: hadoop-env.sh，Hadoop 环 境 变 量 配置 文件 ， 指 定 JAVA_HOME。 


export JAVA HOME-/usr/java/jdk1.6.0 45 


“ core-site.xml, Hadoop core 的 配置 项 ， 主要 针对 Common 组 件 的 属性 配置 。 由 于 默认 的 hadoop.tmp.dit 的 路 径 为 /tmp/hadoop-${fuset.name}， 笔 者 的 Linux 系 统 的 /tmp 文 件 系 统 的 类 型 是 Hadoop 不 支持 的 ,会 
报 “File/tmp//input/conf/slaves could only be replicated to 0 nodes, instead of 1” 异 常 ， 因 此 手工 修改 hadoop.tmp.dit 指 向 /data/tmp/hadoop-${fuser.name} ， 作 为 Hadoop 用 户 的 临时 存储 目录 ， 配 置 如 下 : 


«configuration» 
«property» 
«name»hadoop.tmp.dir«/name» 
«value»/data/tmp/hadoop-$ (user.name]«/value» 
</property> 
<property> 
«name»fs.default.name«/name» 
«value»hdfs: //192.168.1.20: 9000«/value»  //masterX LIP: 9000 端 口 
</property> 
</configuration> 


hdfs-site.xml，Hadoop 的 HDFS 组 件 的 配置 项 ， 包 括 Namenode、Secondarynamenode 和 Datanode 等 ， 配 置 如 下 : 


<configuration> 
<property> 

«name»dfs.name.dir«/name» 

«value»/data/hdfs/name«/value» //Namenoqe 持 久 存 储 名 字 空 间 、 事 务 日 志 路 径 
</property> 
<property> 

«name»dfs.data.dir«/name» 

«value»/data/hdfs/data«/value» //Datanode 数 据 存储 路 径 
</property> 

<property> 

«name»dfs.datanode.max.xcievers«/name» 

«value»4096«/value» //Datanode 所 人 允许 同时 执行 的 发 送 和 接受 任务 数 
</property> 

<property> 

<name>dfs.replication</name> 

<value>2</value> // 数 据 备 份 的 个 数 ， 默 认为 3 

</property> 

</configuration> 


， 默 认为 256 


pn 


- mapred-site.xml， 配 置 map-reduce 组 件 的 属性 ， 包 括 jobtracketr 和 tasktracker， 配 置 如 下 : 


«configuration» 

«property» 
«name»mapred.job.tracker«/name» 
«value»192.168.1.20: 9001«/value» 
</property> 

</configuration> 


: mastetrs， 配 置 Secondarynamenode 项 ， 环 境 使 用 主 设备 192.168.1.20 同 时 承担 Secondarynamenode 的 角色 ， 生 产 环 境 要 求 使 用 独立 服务 器 ， 起 到 HDFS 文 件 系 统 元 数据 (metadata) 信息 的 备份 作用 ， 当 
NameNode 发 生 故 障 后 可 以 快速 还 原 数 据 ， 配 置 内 容 如 下 : 


192.168.1.20 


slaves， 配 置 所 有 Slave 主 机 信息 ， 填 写 IP 地 址 即 可 。 本 示例 中 Slave 的 信息 如 下 : 


192.168.1.21 
192.168.1.22 


接 下 来 ， 从 主 节 点 (Master) 复制 jdk 及 Hadoop 环 境 到 所 有 slave， 目 标 路 径 要 与 Master 保 持 一 致 ， 切 记 ! 执行 以 下 命令 进行 复制 


ssh root8192.168.1.21 '[ -d /usr/java ] || mkdir -p /usr/java ]' 
ssh root8192.168.1.22 '[ -d /usr/java ] || mkdir -p /usr/java ]' 
scp -r /usr/java/jdk1.6.0 45 root80192.168.1.21: /usr/java 
scp -r /usr/java/jdk1.6.0 45 root80192.168.1.22: /usr/java 
scp -r /usr/local/hadoop-1.2.1 root8192.168.1.21: /usr/local] 
scp -r /usr/local/hadoop-1.2.1 root8192.168.1.22: /usr/local 
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Hadoop 部 分 功能 是 通过 主机 名 来 寻 址 的 ， 因 此 需要 配置 主机 名 hosts 信 息 (生产 环境 建议 直接 搭建 内 网 DNS 服务 ) ， 保 证 Hadooop 环 境 所 有 主机 的 /etc/hosts 文 件 配置 如 下 : 


192.168.1.20 SN2013-08-020 
192.168.1.21 SN2013-08-021 
192.168.1.22 SN2013-08-022 


.168.1 
.168.1 


«21 
.22 


SN2013-08-021 
SN2013-08-022 


如 设备 启用 了 iptables 防 火 墙 ， 需 要 对 主 节点 (Master) 及 slave 主 机 添加 以 下 规则 : 


Master: 
iptables -I INPUT -s 192.168.1.0/24 -p tcp --dport 50030 -j ACCEPT 
iptables -I INPUT -s 192.168.1.0/24 -p tcp --dport 50070 -j ACCEPT 
ptables -I INPUT -s 192.168.1.0/24 -p tcp --dport 9000 -j ACCEPT 
ptables -I INPUT -s 192.168.1.0/24 -p tcp --dport 9001 -j ACCEPT 
Slaves: 
ptables -I INPUT -s 192.168.1.0/24 -p tcp --dport 50075 -j ACCEPT 
ptables -I INPUT -s 192.168.1.0/24 -p tcp --dport 50060 -j ACCEPT 
ptables -I INPUT -s 192.168.1.20 -p tcp --dport 50010 -j ACCEPT 


配置 完成 后 在 主 节点 (Master) 上 格式 化 文件 系统 的 namenode， 执 行 : 


# cd /usr/local/hadoop-1.2.1 
# bin/hadoop namenode -format 


最 后 ， 在 主 节点 (Master) 上 执行 启动 命令 ， 如 下 : 


# bin/start-all.sh 


(2) 检验 安装 结果 


Hadoop 官 方 提供 的 一 个 测试 MapReduce 的 示例 ， 执 行 : 


# bin/hadoop jar hadoop-examples-1.2.1.jar pi 10 100 


如 果 返 回 如 图 12-1 所 示 结 果 ， 则 说 明 配 置 成 功 。 


[root85N2013-08-0?20 hadoop-1.2.1]£ bin/hadoop Jar hadoop-examples-1.2.1.jar pi 10 108 
Number of Maps = 10 
Samples per Map = 100 


Wrote 
Wrote 
Wrote 
Wrote 
Wrote 
Wrote 
Wrote 
Wrote 
Wrote 
Wrote 


Starting 
14/08/10 
14/08/10 
14/08/10 
14/08/10 
14/08/10 
14/08/10 
14/08/10 


input 
input 
input 
input 
input 
input 
input 
input 
input 
input 


19 
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19: 
19: 
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tor 
for 
for 
for 
for 
for 
for 
for 
for 


Job 
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19: 


51: 
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294: 
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Map 
Map 
Map 
Map 
Map 
Map 
Map 
Map 
Map 
Map 


99 
af 
26 
13 
47 
54 
56 


#0 
#1 
#2 
#3 
HA 
i5 
ito 
f 
zo 
#9 


INFO 
INFO 
INFO 
INFO 
INFO 
INFO 
INFO 


mapred. 
mapred. 
mapred. 
mapred. 
mapred. 
mapred. 
mapred. 


FileInputFormat: Total input paths to process 


JobClient: 
JobClient: 
JobClient: 
JobClient: 
JobCLHient: 
JobClient: 


- 10 
Running job: job 201408101951 0001 

map 05 reduce 05 

map 20% reduce 9 

map reduce ! 

map reduce 0 

map reduce 9f 


map 60% reduce 20% 
map reduce 20% 
map 909% reduce 20% 
map 100% reduce 20% 
map 100% reduce 20% 
map 100% reduce 100% 


12 JobClient: 
JobClient: 
JobClient: 
JobClient: 
Jobt Lient: 
Jobt lient: 


INFO 
INFO 
INFO 
INFO 
. INFO 
INFO 


14/08/10 
14/08/10 
14/08/10 
14/08/10 
14/08/10 
14/08/10 


19: 
19:55:26 
19:55:29 
19:55:3 
19:55: 
18:55:4 


33: mapred. 
mapred. 
mapred. 
mapred. 
mapred. 


mapred. 


图 12-1 计算 pi 的 测试 结果 (部 分 截图 ) 


访问 Hadoop 提 供 的 管理 页 面 ，Map/Reduce 管 理 地 址 : http://192.168.1.20: 50030/， 如 图 12-2 所 示 。 


SN2013-08-020 Hadoop Map/Reduce Administration 


State: RUNNING 

Started: Fri AUE 22 22:15:42 CST 2014 

Version: 1.2.1, r1503152 

Compiled: Mon Jul 223 15:23:09 PDT 2013 by mattf 
Identifier: 201408222215 

safeMode: OFF 


Cluster Summary (Heap Size is 7.31 MB/966. 69 MB) 


Total Üccupied| Occupied | Reserved | Reserved lian e Reduce 
Reduce Task 


Submissions |” | Capacit | 3 
p y Capacity 


Running | Running 
Reduce 


EJ12-2 ”Map/Reduce 管 理 界面 (RAAH) 


HDFS 人 存储 管理 地 址 : http://192.168.1.20: 50070/， 如 图 12-3 所 示 。 
| , | | — 
NameNode | SN2013-08-020:9000 


Started: Fri Aug 22 22:14:01 CST 2014 
Version: 1.2. 1; ri1503152 

Compiled: Mon Jul 22 15:23:09 PDT 2013 by mattf 
Upgrades: There are no upgrades in progress. 


Browse the filesystem 
ener a iaz 


Cluster Summary 


31 files and directories, 9 blocks = 40 total. Heap Size is 15.38 MB / 966.69 MB (1%) 

Configured Capacity 8. 56 GB 

DFS Used 456 KB 

Non DFS Used i64. 23. MB 

DFS Remaining T. 82 GB 

DFS Used*h 0. 01 % 

DFS Remaining* gi. 28 % 

Live Nodes 

Dead Nodes 


图 12-3 HDFS/ 32254 (部 分 截图 ) 


12.3 ”使 用 Python 编写 MapReduce 


Map 与 Reduce 为 两 个 独立 函数 ， 为 了 加 快 各 节点 的 处 理 速度 ， 使 用 并 行 的 计算 方式 ，map 运 算 的 结果 再 由 reduce 继 续 进 行 合 并 。 例 如 ， 要 统计 图 书馆 有 多 少 本 书籍 ， 首 先 一 人 一 排 进行 统计 
(map) ， 其 次 将 每 个 人 的 统计 结果 进行 汇总 (reduce) ， 最 终 得 出 总 数 。Hadoop 除 了 提供 原生 态 的 Java 来 编写 MapReduce 任 务 ， 还 提供 了 其 他 语言 操作 的 API 一 -Hadoop Streaming， 它 通过 使 用 标 
准 的 输入 与 输出 来 实现 map 与 reduce 之 前 传递 数据 ， 映 射 到 Python 中 便 是 sys.stdin 输 入 数据 、sys.stdout 输 出 数据 。 其 他 业务 逻辑 也 直接 在 Python 中 编写 。 


下 面 实现 一 个 统计 文本 文件 (/home/test/hadoop/input.txt) 中 所 有 单词 出 现 的 词 频 功 能 ， 分 别 使 用 原生 Python 与 框架 方式 来 编写 mapreduce。 文 本 文件 内 容 如 下 : 


[/home/test/hadoop/input.txt] 


Foo foo quux labs foo bar quux abc bar see you by test welcome test 
abc labs foo me python hadoop ab ac bc bec python 


12.3.1 用 原生 Python 编写 MapReduce 详 解 


(1) 编写 Map 代 码 


见 下 面 的 mapper.py 代 码 ， 它 会 从 标准 输入 (stdin) 读 取 数 据 ， 默 认 以 空格 分 割 单词 ， 然 后 按 行 输出 单词 及 其 词 上 
行 统 计 ， 要 求 mapper.py 具 备 可 执行 权限 ， 执 行 Chmod+x/home/test/hadoop/mapper.py。 


而 是 直接 输出 “word 1" , 


[/home/test/hadoop/mapper.py] 


#! n o python 
import 
4 输入 为 标 淮 输 入 stdin; 

for line in sys. stdin: 

# 删 除开 头 和 结尾 的 空 

line = line.stri 

# 以 默认 空 MARE AEn Blwords7ldts 
words = line.split O 

for word in words: 


以 便 作为 Reduce 的 输入 进 


# 输 出 所 有 单词 ， 格 式 为 \ 单 词 ，1” 以 便 作 为 Reduce 的 输入 ; 


print '$sNt$s' $ (word, 1) 


(2) 编写 Reduce 代 码 


见 下 面 的 reducer.py 代 码 ， 它 会 从 标准 输入 (stdin) 读 取 mapper.py 的 结果 ， 然 后 统计 每 个 单词 出 现 的 总 次 数 并 输出 到 标准 输出 (stdout) 


chmod+x/home/test/hadoop/reducer.py. 


[/home/test/hadoop/reducer.py] 


#! /usr/bin/env python 

from operator import itemgetter 
import sys 

current word = None 

current count = 0 

word = None 
# 获取 标准 答 入 ， 即 mapper.Py 的 输出 ; 
or line in sys.stdin: 

# 删 除开 头 和 结尾 的 空 To 


line = line.str 


word, count = line.split (C'Nt', 1) 
# 转换 count 从 字符 型 成 整 型 ; 
try: 

count = int (count) 
except ValueError: 

# count UE 忽略 此 行 ; 

contin 
# Ber. py 的 输出 做 排序 (sort) 操作 ， 
if current word == word: 
current count += count 
else: 
if current wo 


# 输出 当前 -— 吉 果 到 标准 输出 


print '$sNt$s' $ (current word, 


current count = count 
OUE EEA = word 
# 输出 最 后 一 个 worgd 统 计 


if current word == word: 
print '$sNt$s' $ (current word, 


(3) 测试 代码 


我 们 可 以 在 Hadoop 平 台 


t 信人 短 生 作为 程序 的 输入 ， 以 tab 作 为 分 


以 便 对 连续 


z 
X 


的 worq 做 判断 ; 


current count) 


current count) 


页 到 | 标准 输出 (stdout) , 


运行 之 前 在 本 地 进行 测试 ， 校 验 mapper.py 与 reducer.py 运 行 的 结果 是 否 正 确 ， 测 试 结果 如 图 12-4 所 示 。 


测试 reducer.py 时 需要 对 mapper.py 的 输出 做 排序 (sort) 操作 ， 当 然 ，Hadoop 环 境 会 自动 实现 排序 ， 如 图 12-5 所 示 。 


(4) 在 Hadoop 平 台 运 行 代码 


首先 在 HDFS 上 创建 文本 文件 存储 目录 ， 本 示例 中 为 /user/root/word， 运 行 命令 : 


# /usr/local/hadoop-1.2.1/bin/hadoop dfs -mkdir /user/root/word 


上 传 文件 至 HDFS， 本 示例 中 为 /home/test/hadoop/input.txt， 如 果 有 多 个 文件 ， 可 采用 以 下 方法 进 


# /usr/local/hadoop-1.2.1/bin/hadoop fs -put /home/test/hadoop/input.txt /user/root/word/ 
# /usr/local/hadoop-1.2.1/bin/hadoop dfs -ls /user/root/word/ 


Found 1 items 


-rw-r--r-- 2 root supergroup 


118 2014-02-10 09: 49 /user/root/word/input.txt 


不 过 整个 Map 处 理 过 程 并 不 会 统计 每 个 单词 出 现 的 总 次 数 ， 


， 要 求 reducer.py 同 样 具备 可 执行 权限 ， 执 行 


行 操作 ， 因 为 Hadoop 分 析 目 标 默认 针对 目录 ， 目 录 下 的 文件 都 在 运算 范围 中 。 


[roote5N/2013-08-070 hadoop |# cat input.txt l./mapper.py 
ton ] 

foo 
quux 
Labs 
foo 

bar 
quux 
abc 

bar 

See 
YoU 

by 

test 
welcome 
test 
abc 
Labs 
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图 12-4 mapperdk4T25&. (部 分 截图 ) 


[rootesN7013-08-070 hadoop]£ cat input.txt | ./mapper.py | sort -k1,1 | ./reducer.py 
1 
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图 12-5 teducet 执 行 结 果 


下 一 步 便 是 关键 的 执行 MapReduce 任 务 了 ， 输 出 结果 文件 指定 /output/word， 执 行 以 下 命令 : 


# /usr/local/hadoop-1.2.1/bin/hadoop jar /usr/local/hadoop-1.2.1/contrib/streaming/hadoop-streaming-1.2.1.jar -file ./mapper.py -mapper ./mapper.py -file ./reducer.py -reducer 


图 12-6 为 返回 的 执行 结果 ， 可 以 看 到 map 及 reduce 计 算 的 百分比 进度 。 


[roote5N2013-08-0?0 hadoop]# /usr/local/hudoop-1.2.1/bin/hadoop jar /usr/local/hadoop-1.2.1/contrib/streaming/hadoop- 
streaming-1.2.1.jar -file ./mapper py -mapper  /mapper py -file J/reducer.py -reducer ./reducer.py -input /user/root/ 
word -output /output/word 

packagelJoblar: [./mapper.py, ./reducer.py, /dataz/tmp/zhadoop-rooctzhadoop-unjar53659593091400585/0/] O /tmp/streamjob3 
1424838332804003.]ar tmpDir-null 

14/08/10 22:50:09 INFO util.NativeCodeloader: Loaded the native-hadoop library 

14/08/10 77:50:09 WARN snappy.Loadsnappy: Snappy native Library not Loaded 

14/08/10 22:50:09 INFO mapred.FileInputFormat: Total input paths to process - 1 

14/08/10 22:50:11 INFO streaming.SstreamJob: getlocalDirs(): [/data/tmp/hadoop-root/mapred/local] 

14/08/10 22:50:11 INFO streaming.StreamJob: Running job: job 201468101951 06002 

14/08/10 22:50:11 INFO streaming.streaml]ob: To kill this job, run: 

14/08/10 22:50:11 INFO streaming.Streamlob: /usr/local/hadoop-1.2.1/libexec/../bin/hadoop job  -Dmapred.]job.tracker-1 
97.168.1.20:9001 -kill job ?614981812351 0007 

14/08/10 77:50:11 INFO streaming.StreamlJob: Tracking URL: http://5SN2013-0$-070:50030/]obdetails.jsp?jobid-]ob 2014031 
01951 0007 

14/08/10 77:50:17 INFO streaming.StreamJob: map €X reduce 9X 

14/08/10 22:51:40 INFO streaming.5treamJob.: map 58X* reduce €X 

14/08/10 77:57:34 INFO srreaming.sStream]ob: map 100% reduce v 

14/08/10 22:52:38 INFO streaming.StreamJob: map 100% reduce 1/X 

14/08/10 27:57:46 INFO streaming.5treamljob: map 100% reduce 1005 

14/08/10 22:52:50 INFO streaming.Streamlob: Job complete: job 201402101951 000? 

14/08/10 22:52:50 INFO streaming.StreamJoD: Output: /output/word 


图 12-6 ”执行 MapReduce 任 务 结 果 


访问 http://192.168.1.20: 50030/jobtracker.jsp， 点 击 生 成 的 Jobid， 查 看 mapreduce job 信息 ， 如 图 12-7 所 示 。 


= dus kn diia i j i Failed/ Killed 
Kind |% Complete | Num Tasks | Pending | Running | Complete Killed. Task - Attempts | 


File Input Format Bies faa 0. 0 T 
Counters E i 


Total time spent by all reduces waiting after | 0 

reserving slots (ms) | 

Tulal Liwe spenub by all maps wailing aller : | 
u Ü 0 

reserving slots (ms) | | 


| Launched map tasks | o | ol " 
| Data local map tasks | o | o| 3 


图 12-7 Webs mapreduce job 信息 (WIAA) 


Job CuournLers 


查看 生成 的 分 析 结 果 文 件 清单 ， 其 中 /output/word/part-00000 为 分 析 结 果 文 件 ， 如 图 12-8 所 示 。 


[rooteSN2013-88-078 hadoop]f /usr/local/hadoop-1.2.1/bin/hadoop dfs -ls /output/word 
Found 3 1tems 
-rw-r--r-- Z root supergroup o 7014-68-18 22:52 /output/word/ *SUCCFES55 


drwxr-xr-x  - root supergroup 0 2014-08-10 22:50 /output/word/ logs 
-rw-r--r-- 42 root supergroup 119 2014-88-10 27:52 /output/wordüd/part.-00990 
[roote5N2013-88-8?28 hadoop ]|* 


图 12-8 任务 输出 文件 清单 


最 后 查看 结果 数据 ， 图 12-9 显 示 了 单词 个 数 统计 的 结果 ， 整 个 分 析 过 程 结束 。 


[roote*sN/013-8$-0878 hadoop]? /usr/localL/hadoop-1.2.1/bin/hadoop dfs -cat /output/word/part -é409 


ab 

abc 

üc 

bar 

bc 

bec 

by 

too 
hadoop 
labs 
me 
python 
quiux 
Sea 
test 
welcome 
you 


pp MP MN mPpPNILIgq[ÍÀ5pÀIEpr. 9r 


图 12-9 ”查看 结果 文件 part-00000 内 容 
QET HDFs 常 用 操作 命令 有 : 
1) 创建 目录 ， 示 例 : bin/hadoop dfs-mkdir/data/root/testo 


2) 列 出 目录 清单 ， 示 例 : bin/hadoop dfs-ls/data/root。 


3 


— 


删除 文件 或 目录 ， 示 例 : bin/hadoop fs-tmr/data/root/testo 
4) 上 传 文件 ， 示 例 : bin/hadoop fs-put/home/test/hadoop/*.txt/data/root/testo 


5) 查看 文件 内 容 ， 示 例 : bin/hadoop dfs-cat/output/word/part-00000. 


Mrjob (http://pythonhosted.org/mrjob/index.html) 是 一 个 编写 MapReduce 任 务 的 开源 Python 框架 ， 它 实际 上 对 Hadoop Streaming 的 命 


行 ， 使 我 们 可 以 更 轻松 、 快 速 编写 MapReduce 任 务 。Mrjob 具 有 如 下 特点 。 
1) 代码 简洁 ，map 及 reduce 函 数 通 过 一 个 Python 文件 就 可 以 搞定 ; 
2) 支持 多 步骤 的 MapReduce 任 务工 作 流 ; 
3) 支持 多 种 运行 方式 ,包括 内 说 方 式 、 本 地 环境 、Hadoop、 远 程 亚马逊 ; 
4) 支持 亚马逊 网 络 数据 分 析 服 务 Elastic MapReduce (EMR) ; 
5) 调试 方便 ， 无 须 任何 环境 支持 。 


安装 Mrjob 要 求 环境 为 Python 2.5 及 以 上 版 本 ,源码 下 载 地 址 : https://github.com/yelp/mrjob。 


#PyPI 安 装 方式 


# pip install mrjob 


令 行 进行 了 封装 ， 因 此 接触 不 到 Hadoop 的 数据 流 命令 


# python setup.py install 


回 到 实现 一 个 统计 文本 文件 (/home/test/hadoop/input.txt) 中 所 有 单词 出 现 的 词 频 功能 ，Mrjob 通 过 mapper () 与 reducer () 方法 实现 了 MR 操作 ， 实 现代 码 如 下 : 


[/home/test/hadoop/word count.py] 


from mrjob.job import MRJob 
class MRWordCounter (MRJob) : 
def mapper (self, key, line): 
for word in line.split O : 
yield word. 1 


def reducer (self. word. occurrences) : 
yield word, sum (occurrences) 
if name == ' main "': 


MRWordCounter.run () 


"JL Hmc sU ERIBEPythonB1/3, 3gígstbEbBsEWI, BESAT mapper, reducers, mappereRZidzKts —(35 8958s, SbIeRIBI—XjJkey: value， 初 始 化 value 为 数据 1; 
reducer 接 收 mapper 输 出 的 key-value 对 进行 整合 ， 把 相同 key 的 value 作 累加 (sum) 操作 后 输出 。Mnob 利 用 Python 的 yield 机 制 将 函数 变 成 一 个 Generators (生成 器 ) ， 通 过 不 断 调 用 next () 去 实现 
key-value 的 初始 化 或 运算 操作 。 前 面 介 绍 Mrjob 支 持 四 种 运行 方式 ， 包 括 内 窝 (-rinline) 、 本 地 (-r local) 、Hadoop (-rhadoop) 、Amazon EMR (-remr) ， 下 面 主要 介绍 前 三 者 的 运行 方式 。 


(1) AER (-r inline) 方式 


特点 是 调试 方便 ， 启 动 单一 进程 模拟 任务 执行 状态 及 结果 ， 黑 认 (-r inline) 可 以 省 略 ， 输 出 文件 使 用 “>output-file” 或 “-o output-file”。 下 面 两 条 命令 是 等 价 的 : 


* python word count.py -r inline input.txt »output.txt 
* python word count.py input.txt -o output.txt 


输出 文件 output.txt 内 容 见 图 12-10。 


[rootesSN2013-08-0?70 hadoop]f cat output.txt 
"ap 1 

"gbc" 

"QC 


Fi 


图 12-10 ”查看 输出 output'txt 文 件 内 容 
(2) 本 地 (-rlocal) 方式 


用 于 本 地 模拟 Hadoop 调 试 ， 与 内 嵌 (inline) 方式 的 区 别 是 启动 了 多 进程 执行 每 一 个 任务 ， 如 


* python word count.py -r local input.txt »output.txt 


执行 的 结果 与 inline 一 样 ， 只 是 运行 过 程 存 在 差异 。 

(3) Hadoop (-rhadoop) 方式 
用 于 Hadoop 环 境 ， 支 持 Hadoop 运 行 调度 控制 参数 ， 如 : 

. 指定 Hadoop 任 务 调 度 优 先 级 (VERY_HIGHIHIGH) ， 如 ，--jobconf mapreduce.job.priority=VERY_HIGH。 

. Map 及 Reduce 任 务 个 数 限 制 ， 如 ，--jobconf mapted.map.tasks=10--jobconf mapred.reduce.tasks=5 o 
注意 ， 执 行 之 前 需要 指定 Hadoop 环 境 变量 ， 执 行 结果 见 图 12-11。 
访问 http://192.168.1.20: 50030Vjobtrackerjsp， 显 示 的 最 后 一 行 便 是 任务 执行 的 信息 ， 从 中 可 以 看 到 任务 的 优先 级 、map 及 reduce 的 总 数 ， 如 图 12-12 所 示 。 
查看 Hadoop 分 析 结 果 文 件 ， 内 容 见 图 12-13。 


Mrjob 框 架 的 介绍 告 一 段落 ， 下 一 节 重 点 以 实际 案例 进行 说 明 。 


[roote5N2013-88-8?8 hadoop]€ export HADOOP HOME-/usr/local^/hadoon-1.?.1 
[roote&$N72013-08-078 hadoop]& python word count.py -r hadoop --jobconf mapreduce.job.priority-VERY HIGH --jobconf mapr 
ed.map.tasks-z2 --jobcont mapred.nreduce.tasks-1 -o hdfs:///output/hadoop word hdfs:///user/root/word 
no configs found; falling back on auto-configuration 
no configs found; falling back on auto-configuration 
creating tmp directory /tmp/word count.root.20140810.150905.175991 
writing wrapper script to /tmp/word count.root.20140810.152905.1759931 /setup-wrapper .sh 
Copying Local files into hdfs:///user/root/tmp/mrjob/word count.root.29148810.,150905.1/590]1/f118s,^ 
Using Hadoop version 1.2.1 
Detected hadoop configuration property names that do not match hadoop version 1.2.1: 
Ihe have been translated as follows 
mapreduce.job.priority: mapred.job.priority 
HADOOP: Warning: $HADOOP HOME is deprecated. 
HADOGP : 
HADOOP: packageJoblar-: [/data/tmp/hadoop-root/hadoop-unjars/8337/6954064499/38/] [] /tmp/stream]o0b469239559566069948/ . 
jar tmpDirenull 
HADOOP: Loaded the native-hadoop library 
HADOOP: Snappy native library not loaded 
HADOOP: Total input paths to process : 1 
HADOOP: getlocallirs(5: [/data/tmp/hadoop-root/mapred/local | 
HADOOP: Running job: job 201408101951 90003 
HADOOP: To kill this job, run: 
HADOOP: /usr/local/hadoop-1.2.1/libexec/../bin/hadoop Job  -Dmapred.job.tracker-192.168.1.20:90801 -kill job 2981498181 
951 0003 
HADOOP: Tracking URL: http://SN2013-88-022:52038/ Jobdetails.jsp?jobid-job 2914808181951 0093 
HADOOP: map 0% reduce 0% 
HADOOP: map 50% reduce 069 
HADOOP: map 100% reduce *& 


E1231 任务 执行 结果 (部 分 截图 ) 


Completed Jobs 


Maps Reduce % 


Started | Priority |User| Name Completed | Complete 


Fri Aug 
(no E - : f n n: 
201408222215 0001| 55-38-11 streamjob4197546037759856201. jar . QU ? 7 100. 00% 


0014039990015 wy zz r V "à Apis LAE ; 7 100. 00% 
201408222215 0002 29-38-58 VERY HIGH | root 


CST 2014 


E at ia 
"abc" 


n Foo" 
"hadoop" 
"Labs" 


"python" 
"guux" 
"Seg" 
"test" 
"welcome" 
"you" 1 


图 12-13 ”查看 任务 结果 文件 内 容 


124 实战 分 析 


(et 


在 互联 网 企业 中 ， 随 着 业务 量 、 访 问 量 的 不 断 增 长 ， 用 户 产生 的 数据 也 越 来 越 大 ， 如 何 处 理 大 数据 的 存储 与 分 析 问 题 呢 ?比如 Web 服 务 器 的 访问 log， 当 日 志 只 有 GB 单位 大 小 时 ,我 们 还 可 以 勉强 通过 
shell、awk 进 行 分 析 ， 当 达到 上 百 GB， 甚 至 上 PB 级 别 时 ， 通 过 脚本 的 方式 已 经 力不从心 了 。 另 外 一 个 待 解决 的 问题 就 是 数据 存储 。Hadoop 很 好 地 解决 了 这 两 个 问题 ， 即 分 布 式 存 储 与 计算 。 下 面 将 通过 示 
例 介绍 如 何 从 Web 日 志 中 快速 获取 访问 流量 、HTTP 状 态 信 息 、 用 户 IP 信 息 、 连 接 数 /分 钟 统计 等 


12.4.1 示例 场景 


站 点 www.website.com 共 有 5 台 Web 设 备 ， 日 志文 件 存放 位 置 : /data/logs/ 日 期 (20140215) /access.log， 日 志 为 默认 的 Apache 定 义 格 式 ， 如 : 


125.26.28.8 - - [01/Aug/2010: 09: 56: 53 +0700] "GET / ceacher/jitra/image/pen. gif HTTP/1.1" 200 12014 "http: //www.kpsw.ac. pd t T htm" "Mozilla/4.0 (compatible; 
125.26.28.8 - - [01/Aug/2010: 09: 56: 53 +0700] "GET /favicon.ico HTTP/1.1" 200 1187 "-" "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5. Trident/4.0; GTB6.5; InfoPath.1 
66.249.65.37 - - [01/Aug/2010: 09: 57: 59 +0700] "GET /picture/49-02/DS8C02630.jpg HTTP/1.1" 200 79220 "-" "Googlebot-Image/1.0" 

66.249.65.37 - - [01/Aug/2010: 09: 59: 19 +0700] "GET /elearning/index.php? cal m-2&cal y-2011 HTTP/1.1" 200 9232 "-" "Mozilla/5.0 (compatible:  Googlebot/2.1; http: //www.goc 


共有 12 列 数据 (空格 分 隔 ) ， 分 别 为 : @ 客 户 端 |P; @ 空 白 (远程 登录 名 称 ) ; OFA (认证 的 远程 用 户 ) ; @ 请 求 时 间 ; @UTC 时 差 ; ODA; @ 资 源 ; @ 协 议 ; @ 状 态 码 ; @ 发 送 字 节 数 ; 包 访 问 
Aem; 包 客 户 浏览 器 信息 (不 具体 拆 分 ) 。 


接 下 来 在 5 台 Web 服 务 器 部 署 HDFS 的 客户 端 ， 以 便 定期 上 传 Web 日 志 到 HDFS 存 储 平台 ， 最 终 实现 分 布 式 计算 。 需 要 安装 (JDK 配 置 环 境 变量 ) . Hadoop (原版 tar 包 解析 即 可 ) ， 详 细 见 12.2 相 关内 
容 。 添 加 上 传 日 志 功 能 作业 到 crontab， 内 容 如 下 : 


o 


55 23 * * * /usr/bin/python /home/test/hadoop/hdfsput.py >> /dev/null 2»&1 


通过 subprocess.Popen () 方法 调用 Hadoop HDFSs 相 关外 部 命令 ， 实 现 创建 HDFs 目 录 及 客户 端 文件 上 传 ， 详 细 代码 如 下 : 


[/home/test/hadoop/hdfsput.py] 


import subprocess 
import sys 

import datetime 
webid-"webl" #HDFS 存 储 日 志 标志 ， 其 他 Wepb 服 务 器 分 别 为 web2、web3、web4、web5 
currdate-datetime.datetime.now () .strftime ('£Y£m£d') 
logspath-"/data/logs/"*currdate*"/access.log"  # 日 志 本 地 路 径 
logname-"access.log."4webid #HDFS 存 储 日 志 名 
try: 


subprocess.Popen (["/usr/local/hadoop-1.2.1/bin/hadoop", "dfs", "-mkdir", "hdfs: //192.168.1.20: 9000/user/root/website.com/"+currdate], stdout=subprocess .PIPE) 
# 创 建 HDFS 目 录 ， 目 录 格 式 : website.com/20140205 
except Exception, e: 

pass 
putinfo-subprocess.Popen (["/usr/local/hadoop-1.2.1/bin/hadoop", "dfs", "-put", logspath, "hdfs: //192.168.1.20: 9000/user/root/website.com/"+currdate+"/"+logname], stdout=s 
for line in putinfo.stdout: 

print line 


在 crontab 定 时 作业 运行 后 ，5 台 Web 服 务 器 的 日 志 在 HDFS 上 的 信息 如 下 : 


# /usr/local/hadoop-1.2.1/bin/hadoop dfs -ls /user/root/website.com/20140215 
Found 5 items 


-rw-r--r-- 3 root supergroup 156541746 2014-02-15 23: 55 /user/root/website.com/20140215/access.log.webl 
-rw-r--r-- 3 root supergroup 251245315 2014-02-15 23: 53 /user/root/website.com/20140215/access.log.web2 
-rw-r--r-- 3 root supergroup 134256412 2014-02-15 23: 55 /user/root/website.com/20140215/access.log.web3 
-rw-r--r-- 3 root supergroup 192314554 2014-02-15 23: 54 /user/root/website.com/20140215/access.log.web4 
-rw-r--r-- 3 root supergroup 183267834 2014-02-15 23: 55 /user/root/website.com/20140215/access.log.web5 


截至 目前 ， 数 据 的 分 析 源 已 经 准备 就 绪 ， 接 下 来 的 工作 便 是 分 析 了 。 


12.4.2 ”网 站 访问 流量 统计 


网 站 访问 流量 作为 衡量 一 个 站 点 的 价值 、 热 度 的 重要 标准 ， 另 外 在 CDN 服 务 中 流量 会 涉及 计 费 ， 如 何 快 速 准确 分 析 当 前 站 点 的 流量 数据 至 天 重要 ， 当 然 ， 使 用 Mrob 可 以 很 轻松 实现 此 类 需求 。 下 面 实 
现 精 确 到 分 钟 统计 网 站 访问 流量 ， 原 理 是 在 mapper 操 作 时 将 Web 日 志 中 小 时 的 每 分 钟 作为 key， 将 对 应 的 行 发 送 字 节 数 作为 value， 在 reducer 操 作 时 对 相同 key 作 累加 (sum) 统计 ， 详 细 源 码 如 下 : 


[/home/test/hadoop/httpflow.py] 


from mrjob.job import MRJob 
import re 
class MRCounter (MRJob) : 
def mapper (self, key, line): 
i-0 
For flow in line.split O : 
if i--3: ”# 获 取 时 间 字 段 ， 位 于 日 志 的 第 4 列 ， 内 容 如 \[06/Aug/2010: 03: 19: 44" 


timerow= flow.split (": ") 

hm-timerow[1]-": "-timerow[2] # 获 取 * 小 时 : 分 钟 “， 作 为 key 

f i==9 and re.match (rzNXdq{1，}"， flow):  ”# 获 取 日 志 第 10 列 - -发 送 的 字 节 数 ， 
人 


yield hm int (flow  ”# 初 始 化 key: value 


def reducer (self, key, occurrences) : 
yield key, sum (occurrences)  # 相 同 key“ 小 时 : 分 钟 “的 value 作 累加 操作 


if name == ' main 
MRCounter.run () 


生成 Hadoop 任 务 ， 运 行 : 


# python /home/test/hadoop/httpflow.py -r hadoop --jobconf mapreduce.job.priority-VERY HIGH -o hdfs: ///output/httpflow hdfs: ///user/root/website.com/20140215 


分 析 结 果 见 图 12-14。 


[roote5N2013-068-070 -—]£ /usr/local/hadoop-1.2.1/bin/hadoop dfs -cat /output/httpf Low/part 908009 


"00:00" 
"00-01" 
"00:02" 
“全 四 :全 3 
"00: 04" 
"00:05" 
"Q0 -Q6" 
"00:07" 
"Q0 08" 
"AA-AAA" 
"A-106" 
"99-11" 
"99:12" 
"99:13" 


4/31254 
455/274 
445/08 

2022156 
5616588 
4953596 
3108722 
3269865 
2454300 
84135486 
3600532 
1343297 
4305902 

3691867 


图 12-14 任务 分 析 结 果 (部 分 截图 ) 


建议 将 分 析 结 果 数 据 定期 入 库 MySQL， 利 用 MySQL 灵 活 、 丰 富 的 SQL 支持 ， 可 以 很 方便 地 对 数据 进行 加 工 ， 轻 松 输 出 比较 美观 的 数据 报表 。 图 12-15 为 网 站 一 天 的 流量 趋势 图 


一 一 一 


m wm T WP i "wm " 


10 11 12 13 14 15 16 17 18 19 20 21 22 23 


图 12-15 “业务 流量 趋势 图 


统计 一 个 网 站 的 HTTP 状 态 码 比例 数据 ， 可 以 帮助 我 们 了 解 网 站 的 可 用 度 及 健康 状态 ， 比 如 我 们 关注 的 200、404、5xx 状 态 等 。 在 此 示例 中 我 们 利用 Mrjob 的 多 步调 用 的 形式 来 实现 ， 除 了 基本 的 
mapper、reducer 方 法 外 ， 还 可 以 添加 自 定 义 处 理 方法 ， 在 steps 中 添加 调用 即 可 ， 详 细 源 码 如 下 : 


[/home/test/hadoop/httpstatus.py] 


from mrjob.job import MRJob 
import re 
class MRCounter (MRJOb) : 
def mapper (self, key. 
i-0 
for httpcode in line. split O : 
if i==8 and re.match (r" \d{1, 3] 


line) : 


httpcode) : # 获 取 日 志 中 HTTP 状 态 码 段 ， 作 为 key 
yield httpcode， 1 # 初 始 化 key: value，value 计 数 为 1， 方 便 reducer 作 累加 
i+=1 
def reducer (self, 
yield httpcode, 
def steps (self) : 
return [self.mr (mapper-self.mapper) , 
self.mr (reducer-self.reducer) ] 
if name == ' main 
MRCounter.run (2 


httpcode, 
sum (occurrences) 


occurrences) : 


# 对 排序 后 的 key 对 应 的 value 作 sum 累 加 
# 在 steps 方 法 中 添加 调用 队列 


生成 hadoop 任 务 ， 分 析 数 据 源 保持 不 变 ， 输 出 目录 改 成 /output/httpstatus， 执 行 : 


# python /home/test/hadoop/httpstatus.py -r hadoop --jobconf mapreduce.job.priority-VERY HIGH -o hdfs: ///output/httpstatus hdfs: ///user/root/website.com/20140215 


分 析 结 果 见 图 1 2-1 6。 


H 


[roote5N2013-06-070 ~|# /usr/local/hadoop-1.2.1/bin/hadoop dfs -cat /output/httpstatus/part.- 00000 
"20g" 

"206" 
"J01" 
"302" 
"303" 


"394" 
" AgQ" 
DUYL 
"405" 
"416" 
"201" 
"2803" 


我 们 可 以 根据 结果 数据 输出 比例 饼 图 ， 如 图 12-17 所 示 。 


412334 
19365 
1594 
44 

412 
12/633 
1 
15499 


图 12-16 ”任务 分 析 结 果 


图 12-17 生成 HTTP 状 态 码 饼 图 


一 个 网 站 的 请 求 量 大 小 ， 直 接 关系 到 网 站 的 访问 质量 ， 非 常 有 必要 对 该 数据 进行 分 析 且 关注 。 本 示例 以 分 钟 为 单位 对 网 站 的 访问 数 进行 统计 ， 原 理 与 12.4.2 类 似 ， 区 别 是 value 初 始 为 1， 以 便 作 累 加 统 


详细 源码 如 下 : 


[/home/test/hadoop/http minute conn.py] 


from mrj 


ob.job import MRJob 


import re 
class MRCounter (MRJob) : 


O: 
# 获 取 时 间 字 段 ， E HORE WII" [06/Aug/2010: 03: 19: 44" 
# 获 取 "* 小 时 : 分 钟 “， 作 为 key 


def mapper (self, key, line): 
i-0 
for dt in line.split 
if i--3: 
timerow- dt.split ("; " 
hmetimerow[1]-*": "Jtimerow [2] 
yield hm 1 4WJ5key: value，value 计 数 为 1， 方 便 reducer 作 累加 
i+=1 
def reducer (self, key, occurrences) : 
yield key, sum (occurrences) 
if name == ' main 


生成 Hadoop 任 务 ， 输 出 目录 /output/http_minute_ conn, 执行 : 


* python /home/test/hadoop/http minute conn.py -r hadoop --jobconf 


MRCounter.run () 


mapreduce.job.priority-VFE 


RY H 


GH -o hdi 


fs: ///output/http minute conn hdfs: ///user/root/website.com/20140215 


分 析 结 果 见 图 12-18。 


[rooteSN2013-08-0?20 ~]# /usr/local/hadoop-1.2.1/bin/hadoop dfs -cat /output/http minute conn/part-00000 
"00:00" 58 

"00:01" 168 

"00:02" 43 

"00:03" 166 

"00:04" 105 

"00:05" 208 


"00:06" 126 
"00:07" 223 
"00:08" 242 
"00-00" 50 
"00-10" 134 
"00:11" 45 
"00:12" 21 


E1238 ”任务 分 析 结 果 (部 分 截图 ) 


统计 用 户 的 访问 来 源 IP 可 以 更 好 地 了 解 网 站 的 用 户 分 布 ， 同 时 也 可 以 帮助 安全 人 员 捕 捉 攻 击 来 源 。 实 现 原 理 是 定义 匹配 IP 正则 字符 串 作为 key， 将 value 初 始 化 为 1， 执 行 reducer 操 作 时 作 累 加 (sum) 
统计 ， 详 细 源 码 如 下 : 


[/home/test/hadoop/ipstat.py] 


4 


from mrjob.job import MRJob 
import re 
P RE = re.compile (r"\d{1; 3)N.Md(1, 3)N.Nd(1, 3)N.Nd(L 3)9'0 — E XLIPIEDUUUR 
class MRCounter (MRJOb) : 
def mapper (self, key, line): 
# 匹 配 IP 正 则 后 生成 key: value， 其 中 key 为 IF 地 址 ，value 初 始 值 为 1 
for ip in IP RE.findall (line) : 
yield ip, 1 
def reducer (self, ip, occurrences) : 
yield ip sum (occurrences) 
if name == ' main 
MRCounter.run () 


生成 Hadoop 任 务 ， 输 出 目录 /outputVipstat， 执 行 : 


* Python /home/test/hadoop/ipstat.py -r hadoop --jobconf mapreduce.job.priority-VERY HIGH -o hdfs: ///output/ipstat hdfs: ///user/root/website.com/20140215 


分 析 结 果 见 图 1 2-1 9。 


[rootes5N2013-08-070 ~]# /usr/local/hadoop-1.2.1/bin/hadoop dfs -cat /output/ipstat/part-00000 
"1.8.1.20" 
上 
ros dua 
"1.9.0.1" 
"1.9.0.10" 
"1.9.0.11" 
"1.9.0.13" 
"1.9.0.14" 
"1.9.0.0" 
"1.9.0.7" 
"1.9.0.8" 
71.9.1.1^ 
"1.9.1.108" 
"1.9.1.11" 
1.9.1.4" 
"1.9.1.3" 


图 12-19 ”任务 分 析 结 果 (部 分 截图 ) 


通过 统计 网 站 文件 的 访问 次 数 可 以 帮助 运 维 人 员 了 解 访问 最 集中 的 文件 ， 以 便 进 行 有 针对 性 的 优化 ， 比 如 调整 静态 文件 过 期 策略 、 优 化 动态 cgi 的 执行 速度 、 拆 分 业务 逻辑 等 。 实 现 原理 是 将 访问 文件 作 
为 key， 初 始 化 value 为 1， 执 行 reducer 时 作 累 加 (sum) 统计 ， 详 细 源 码 如 下 : 


[/home/test/hadoop/httpfile.py] 


from mrjob.job import MRJob 


import re 
class MRCounter (MRJOb) : 
def mapper (self, key, line): 


for url in line.split O : m 
if i--6: # 获 取 日 志 中 URI 文 件 资源 字段 ， 作 为 key 
yield url, 1 


def reducer (self, url. occurrences) : 
yield url, sum (occurrences) 
if name == ' main ' 
MRCounter.run () 


执行 结果 如 图 12-20 所 示 。 


"/Image/ginfol.gif" 49 
"/lmage/help.gif" 49 
"/lmage/iconnew.gif" ol 
"/lmage/information.]pg" 
"/lmage/left botm.gif" 154 
"/lmage/line.gif" 116 
"/lImage/link.]pa" 20 


"/lmage/Llogoamphoe.gif" 49 
"/lmage/nayok.]pg" 20 
"/lmage/new.gif" 20 
"/lmage/publs$.gif" 49 

"/lmage/right botm.gif" 154 
"/lmages/logoweb 01.gif" 2 
"/lnformation/form Informationól.php" © 
"/lnformation/form Information6?2.php" 5 


图 12-20 4t4-2 25 X (部 分 截图 ) 
同 理 ， 我 们 可 以 使 用 以 上 方法 对 User-Agent 域 进行 分 析 ， 包 括 浏览 器 类 型 及 版 本 、 操 作 系统 及 版 本 、 浏 览 器 内 核 等 信息 ， 为 更 好 地 提升 用 户 体验 提供 数据 支持 。 


Osz HE7 ”12.2.1 小 节 原 生 Python 编 写 mapreduce 示 例 参考 http://www.michael-noll.com/tutorials/wtiting-an-hadoop-mapreduce-program-in-python/。 


- 第 13 章 ”从 零 开 始 打造 B/S 自 动 化 运 维 平台 

: 第 14 章 “打造 Linux 系 统 安全 审计 功能 

- 第 15 章 ”构建 分 布 式 质量 监控 平台 

. 第 16 章 ”构建 桌面 版 C/S 自 动 化 运 维 平台 

随 着 企业 业务 的 不 断 发 展 ， 在 运营 方面 ， 如 何 保障 业务 的 高 可 用 及 服务 质量 ， 系 统管 理 员 将 面临 越 来 越 多 的 挑战 。 目 前 ,很 多 企业 还 处 在 传统 的 “半自动 化 ”状态 ,一旦 出 现 运 维 事故 ， 技 术 部 的 每 个 
人 都 会 加 入 “救火 ”行列 ， 最 后 弄 得 疲惫 不 堪 。 因 此 ， 构 建 高 效 的 运营 模式 已 迫在眉睫 ， 可 以 从 以 下 几 个 方面 入 手 ， 包 括 定制 符合 企业 特点 的 IT 制度 、 流 程 规范 、 质 量 与 成 本 管理 、 运 莒 效率 建设 等 。 本 章 
将 介绍 如 何 使 用 Python 从 零 开 始 打造 一 个 易 用 、 扩 展 性 强 、 安 全 、 高 效 的 自动 化 运 维 平台 ， 从 而 提高 运营 人 员 的 工作 效率 。 


作为 ITIL 体 系 当 中 的 一 部 分 ， 本 平台 同样 遵循 ITIL 标 准 设计 规范 。OMServer 是 本 平台 的 名 称 ， 后 面 的 内 容 将 使 用 它 作 为 平台 的 称号 。OMServer 实 现 了 一 个 集中 式 的 Linux 集 群 管理 基础 平台 ， 提 供 了 模 
块 扩展 的 支持 ， 可 以 随意 添加 集群 操作 任务 模块 ， 服 务 器 端 模 块 支持 前 端 HTML 表 单 参数 动态 定制 ， 可 灵活 实现 日 常 运 维 远程 操作 、 文 件 分 发 等 任务 ， 在 安全 方面 ， 采 用 加 密 (RRA) 指令 传输 、 操 作 
日 志 记 录 、 分 离 Web Server 与 主 控 设 备 等 ， 在 效率 方面 ， 管 理 员 只 需 选 择 操作 目标 对 象 及 操作 模块 即 可 完成 一 个 现 网 变更 任务 。 另 外 ， 在 用 户 体 验方 面 ， 采 用 前 端 异 步 请 求 ， 模 拟 Linux 终 端 效 果 接 收 返回 


串 。 任 何人 都 可 以 根据 自身 的 业务 特点 对 OM server 平 台 进 行 扩展 ， 比 如 与 现 有 资产 平台 进行 对 接 ， 或 整合 到 现 有 的 运营 平台 当中 。 平 台 首页 如 图 13-1 所 示 。 


Linux.Hadoog ^ 
|ILinux. Cache 
i:Linux.Memcached 

(Linux. hys gi ; 
(Linux. Proxy 

F 
Windaws Mlssql 到 
[Windows Web — 
CEGBZEREHNLE -| :22 SN2013-08-022 damd[1102]: SelfCheck: Database status OK. 
E A May 26 21:10:52 SN2013-08-022 damd[1102]: SelfCheck- Database status OK. 
May 26 21:20:53 5N2013-08-022 damd[1102]: SelfCheck: Database status OK. 


: 192.168.1.71 
{T Ez P T 
- May 26 20:52:59 5SN2013-08-021 damd[1123]: SelfCheck: Database status OK. 
May 26 21:02:59 5N2013-08-U021 damd[1123]: Eee Database status OK. 
à may zs dus ees s ugs 2 A amdi peas : iugis ans aE 


图 13-1 平台 首页 界面 


13.2 ”系统 构 染 设计 


OMServe[ 平 台 采 用 了 三 层 设计 模式 ， 第 一 层 为 Web 交 互 层 ， A en 服务 器 端 采 用 了 Nginx+uwsgi 构 建 高 效 的 Web 服 务 ; 第 二 层 为 分 布 式 计算 层 ， 采 用 rpyc 分 布 
式 计算 框架 实现 ， 作 为 第 一 层 与 第 三 层 的 数据 交互 及 实现 主 控 端 物理 分 离 ， 提 高 整体 安全 性 ， 同 时 具备 第 三 层 的 多 机 服务 的 能 力 ; 第 三 层 为 集群 主 控 端 服务 层 ， 支 持 Saltstack、Ansible、Func 等 平台 。 具 
体 见 如 图 13-2 所 示 的 系统 架构 图 。 


模块 集合 


Web 服务 ” 
OMSerwer 


cH ED 
rpyc:11511 


图 13-2 ”系统 架构 图 


从 图 13-2 可 以 看 出 系统 的 三 个 层次 ， 首 先 管理 员 向 OMServer 平 台所 在 Web 服 务 器 发 起 HTTP 请 求 ，OMServer 接 收 HTTP POST 的 数据 并 采用 “RC4+b64encode+ 密 钥 Kkey” 进 行 加 密 ， 再 作为 rpyc 客 
户 端 向 rpyc 服 务 器 发 送 加 密 指 令 串 ，rpyc 服 务 器 端 同时 也 是 Saltstack、Ansible、Func 等 的 主 控 端 ， 主 控 端 将 接收 到 的 数据 通过 “RC4+b64decode+ 密 钥 key” 进 行 解密 ， 解 析 成 DOMServer 调 用 的 任务 模 
块 ， 结 合 Saltstack、Ansible 或 Func 向 目标 业务 服务 器 集群 发 送 执行 任务 ， 执 行 完 毕 后 ， 将 返回 的 执行 结果 加 解密 处 理 ， 最 后 逐 级 返回 给 系统 管理 员 ， 整 个 任务 模块 分 发 执行 流程 结束 。 


13.3 ”数据 库 结 构 设 计 


13.3.1 ”数据 库 分 析 


OMServer 平 台 采 用 了 开源 数据 库 MySQL 作 为 数据 存储 ， 将 数据 库 命名 为 OMServer， 该 数据 库 总 共有 4 张 表 ， 表 信息 说 明 如 下 。 
- server fun categ: 服务 功能 分 类 表 。 
- server app categ: 服务 应 用 分 类 表 。 
- servet. list: 服务 器 列表 。 


- module list: 模块 列表 。 


13.32 ”数据 字典 


server fun_categ 服 务 功能 分 类 表 。 


字段 名 数据 类 型 默认 值 人 允许 非 空 E ze 18 备注 


server app_categ 服 务 应 用 分 类 表 。 


TE E T 
n Caw [ | w —[-— * — emen 


server list 服 务 器 列表 。 


TT TIT T 
server app id | maD [| | | No | | |J] 服务 应 用 分 类 ID 


module list 模 块 列表 。 


字段 名 备注 
module extend varchar(2000) | NO | | 模块 前 端 扩 展 


13.3.3 ”数据 库 模型 


在 ITIL 体 系 中 有 一 种 比较 典型 的 资产 定义 方法 ， 即 采用 “功能 分 类 ”作为 根 类 ， 其 子 类 为 “应 用 分 类 ” ， 在 最 小 单位 的 “服务 器 ”中 指定 “应 用 分 类 ”进行 关联 ， 完 成 其 层次 关系 的 定义 ， 例 
如 ，Linux.Web (一 级 功能 类 别 ) , bbs.domain.com (二 级 应 用 类 别 ) , 10.11.100.10 (服务 器 归 bbs.domain.com 类 别 ) ， 详 见 图 13-3 所 示 的 数据 库 模 型 图 。 


€— * ID INT (11) 

> module name CHAR(20) $ server categ name CHAR(20) 
© module caption CHAR(255) TROU | 
© module extend V ARCHAR(2000) 


* server. wip CHAR(15) 

时 server lip CHAR(12) > ? ID INT(11) 

server op CHAR(10) H 9 server categ id INT(11) 
| © server app id INT(11) | 3 app categ name CHAR(30) 


F ' al e n agal — 
= ELTARTLAC > 
L * - s - "s - -— LI 


图 13-3 ”数据 库 模 型 


从 模型 关系 图 中 可 以 看 出 ，server_list 表 中 的 server_app_id 字 段 被 设置 为 外 键 ， 与 server app_categ 表 中 的 1D 字 段 进行 关联 ; server app_categ 表 中 的 server_categ_id 字 段 被 设置 为 外 键 ， 与 
server fun_categ 表 中 的 1D 字 段 进行 关联 。 


13.4 ”系统 环境 部 署 


13.4.1 系统 环境 说 明 


OMServer 采 用 Django-1.4.9、nginx-1.5.9、uwsgi-2.0.4、rpyc-3.2.3 等 开源 组 件 来 构建 。 为 了 便于 读者 理解 ， 下 面 对 平 台 的 运行 环境 、 安 装 部 署 、 开 发 环境 优化 等 进行 详细 说 明 。 环 境 设备 角色 表 如 
表 13-1 所 示 。 


表 13-1 系统 环境 说 明 表 


RE ma J m ZEIT: 
Tug SN2013-08-020 192.168.1.20 Saltstack | Ansible | Func EZ, rpyc IRI gs ^i 
Web Server SN2012-07-010 192.168.1.10 Django-uwsgi, rpyc 74 jj 


1342 ”系统 平台 搭建 


OM Serve[ 平 台 涉 及 两 个 角色 ， 其 中 一 个 为 Web 服 务 端 ， 运 行 Django 及 rpyc 环 境 ， 另 一 角色 为 主 控 端 ， 需 要 部 署 Saltstack、Ansible 或 Func 主 控 端 环境 ， 可 参与 本 书 第 9~11 章 内 容 ， 本 节 不 予 详细 介 
绍 。 另 外 同样 需要 部 署 rpyc 环 境 。 


(1) Django 环 境 部 署 


本 示例 部 署 主 机 为 192.168.1.10 (SN2012-07-010) , 


# cd /home 
# mkdir -p /home/install/Django && cd /home/install/Django # 创 建安 装 包 目 录 


# mkdir -p /data/logs/ # 创 建 uwsgi 日 志 目 录 


1) 安装 pcre。pcre 是 一 个 轻 量 级 的 正则 表达 式 函 数 库 ，Nginx 的 HTTP Rewrite 模 块 会 用 到 ， 最 新 版 本 为 8.34 (对 于 OMServer 平 台 环境 来 说 非 必 选 项 ) 。 


wget ftp: //ftp.csx.cam.ac.uk/pub/software/programming/pcre/pcre-8.34.tar.gz 

tar -zxvf pcre-8.34.tar.gz 

cd pcre-8.34 

./configure 

make && make install 

cd http: //www.hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressed/14964/OEBPS/Text/.. 


=E xb ob ob dE 2b 


2) 安装 Nginx。Nginx 是 最 流行 的 高 性 能 HTTP 服 务 器 ， 最 新 版 本 为 1.5.9。 


wget http: //nginx.org/download/nginx-1.5.9.tar.gz 

tar -zxvf nginx-1.5.9.tar.gz 

cd nginx-1.5.9 

./configure --user-nobody --group-nobody --prefix-/usr/local/nginx --with-http stub status module --with-cc-opt-'-03' --with-cpu-opt-opteron 
make && make install 

cd http: //www.hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressed/14964/O0EBPS/Text/.. 


=E HE E nb db 2b 


3) 安装 MySQL-python。MySQL-python 是 Python 访问 MySQL 数 据 库 的 第 三 方 模块 库 ， 最 新 版 本 为 1.2.3c1。 


# yum install -y MySQL-python #yum 安 装 方式 
# wget http: //nchc.dl.sourceforge.net/project/mysql-python/mysql-python/1.2.2/ 
# tar -zxvf MySQL-python-1.2.2.tar.gz TUI ZIT IN 

# cd MySQL-python-1.2.2 
1 
1 


t python setup.py install 
F cd http: //www.hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressed/14964/OEBPS/Text/.. 


4) 安装 uwsgi。uwsgi 是 一 个 快速 的 、 纯 C 语 言 开发 的 、 自 维护 、 对 开发 者 友好 的 WSGI 服 务 器 ， 则 在 提供 专业 的 Python Web 应 用 发 布 和 开发 功能 ， 最 新 版 本 为 2.0.4。 


wget http: //projects.unbit.it/downloads/uwsgi-2.0.4.tar.gz 

tar -zxvf uwsgi-2.0.4.tar.gz 

cd uwsgi-2.0.4 

make 

cp uwsgi /usr/bin 

cd http: //www.hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressed/14964/OEBPS/Text/.. 


=E 2b db ob e dE 


5) 安装 Django。Dijango 是 一 个 Python 最 流行 的 开源 Web 开 发 框架 ， 最 新 版 本 为 1.6.5。 考 虑 到 兼容 与 稳定 性 ， 本 示例 使 用 1.4.9 版 本 进行 开发 。 


# wget https: //www.djangoproject.com/m/releases/1.4/Django-1.4.9.tar.gz 
4 tar -zxvf Django-1.4.9.tar.gz 

f cd Django-1.4.9 

# python setup.py install 


6) 配置 Nginx。 修 改 /usr/local/nginx/conf/nginx.conf， 添 加 以 下 server 域 配置 : 


server { 

listen 80; 

server name omserver.domain.com; 
location / ( 

uwsgi pass 192.168.1.10: 9000; 
include uwsgi params; 
uwsgi param UWSGI CHDIR /data/www/OMserverweb; 
uwsgi param UWSGI SCRIPT django wsgi; 

access log off; 


location ^-« /static ( 
root /data/www/OMserverweb; 


location ~* ^.+\. XGnpglavi|mp3|swf|zipltgzl|gz|rar|bz2|doc|xls|exe|ppt|txt |tar|mid|midi|wav|rtf|mpeg) $ ( 
root /data/www/OMserverweb/static; 
access log off; 


Hd "omserver.domain.com" 为 平台 访问 域名 ，“/data/www/OMserverweb” 为 项 目 根 目 录 ， 可 以 根据 具体 环境 进行 修改 。 


7) 配置 uwsgi。 创 建 uwsgi 配 置 文件 /usr/local/nginx/conf/uwsgi.ini， 详 细 内 容 如 下 : 


[uwsgi] 

socket = 0.0.0.0: 9000 # 监 听 的 地 址 及 端口 
master = true # 启 动 主 进程 

pidfile = /usr/local/nginx/uwsgi .pid 


processes = 8 #uwsgi 开 启 的 进程 数 

chdir = /data/www/OMserverweb # 项 目 主 目录 
pythonpath = /data/www 

profiler=true 

memory-report-true 

nable-threads - tru 

logdate-true 

limit-as-6048 
daemonize-/data/logs/django.log 


启动 uvwsgi 与 nginx 服 务 ， 建 议 配 置 成 服务 自 启 动 脚 本 ， 便 于 后 续 的 日 常 维护 。 详 细 启 动 脚 本 这 里 不 展开 说 明 ， 有 兴趣 的 读者 可 参阅 互联 网 上 已 经 人 存在 的 相关 资源 。 


# /usr/bin/uwsgi --ini /usr/local/nginx/conf/uwsgi.ini 
# /usr/local/nginx/sbin/nginx 


访问 http://omserver.domain.com， 出 现 如 图 4-4 所 示 的 页 面 说 明 Django+uwsgi 环 境 部 署 成 功 ! 


It worked! 
Congratulations on your first Django-powered page. 


Üf course, you haven t actually done any work vet. Here's what to do next: 


€ If you plan to use a database, edit the DATABASES zetting in GENE --ttings. py. 
è+ start your first app by running python manage. py startapp [appname]. 


You re seeing this message because you have DEBUG = True in your Django settings file 
and you haven t configured any URLs. Get to work! 


图 13-4 ”Django 默认 首页 
(2) rpyc 模 块 安装 。 


rpyc (Remote Python Call) 是 Python 提 供 分 布 式 计算 的 基础 服务 平台 ， 可 以 理解 成 封装 程度 更 高 的 Socket 编 程 ， 最 新 版 本 为 3.3。 本 示例 需要 部 署 rpyc 模 块 的 主机 为 192.168.1.20 (SN2013-08- 


020) 、192.168.1.10 (SN2012-07-010) 。 


# wget https: //pypi.python.org/packages/source/r/rpyc/rpyc-3.2.3.tar.gz --no-check-certificate 
# tar -zxvf rpyc-3.2.3.tar.gz 

# cd rpyc-3.2.3 

f python setup.py install 


13.4.3 ”开发 环境 优化 


开发 环境 相对 于 生产 环境 更 注重 调试 便捷 性 ， 好 的 调试 工具 对 软件 开发 将 起 到 事半功倍 的 作用 ， 方便 高效 地 定位 问题 。 本 节 介 绍 Django 必 备 调试 工具 django-debug-toolbar 的 安装 与 配置 ， 同 时 介绍 


如 何 实现 一 种 Django 代 码 自动 刷新 生效 的 方法 。 


小。 


(1) django-debug-toolbar 的 安装 


# wget https: //github.com/robhudson/django-debug-toolbar/archive/master.zip 
# unzip master 

4 cd django-debug-toolbar-master/ 

# python setup.py install 


修改 Django 的 setting.py 配 置 ， 关 键 参数 如 下 : 


NTERNAL IPS = ('127.0.0.1', '192.168.1.101', ) PEIA SURASI P 
MIDDLEWARE CLASSES = ( # MIDDLEWARE CLASSES 添加 以 下 行 


'debug toolbar.middleware.DebugToolbarMiddleware', 


) 
INSTALLED APPS = ( # INSTALLED APPS 添 加 以 下 行 


'debug toolbar', 


} 
TEMPLATE DIRS = ( TEMPLATE DIRS 添 加 以 下 行 ， 注 意 与 python 的 安装 路 径 保持 一 臻 


'/usr/lib/python2.6/site-packages/django debug toolbar-0.8.5-py2.6.egg/debug toolbar/templates/', 
) 


务必 要 演 染 一 个 模板 ， 这 样 debug toolbar 才 会 自动 附加 调试 信息 到 当前 的 页 面 ， 否 则 看 不 到 debug tool 的 界面 。debug toolbar 在 业务 前 端 页 面 设计 成 可 伸缩 展示 ， 展 开 后 的 调试 界面 如 图 13-5 所 


settings from OMserverweb.settings 


Setting Value 
DEBUG TOOLBAR PANELS ('debug, toolbar.panels.version.VersionDebugPanel', 
'debug toolbar.panels.timer.TimerDebugPanel', 
'dabug toolbar.panels.settings vars.SattingsVarsDebugPFanal', 
'debug, toolbar.panels.headers,HeaderDebugPanel', 
"debug toolbar.panels.request vars.RequestVvVarsDebugPanel', 
"debug, toolbar.panels,template.TemplateDebugFanel', 
"debug. toolbar.panels.sqgl.SOLDebugPanel', 
"debug toolbar.panels.signals.SignalDabugPanel', HITP Headers 
'debug, toolbar.panels.logger.LoggingPanel') 
USE LION True Request Vars 
USE THOUSAND SEPARATOR False 
CSRF COOKIE SECERE False Templates 
LAXGLAGE CODE "en-us" 
ROOT URLCONF 'OMservarwab.uris' ol. 
MANAGERS (('liutiansi', 'liutiansiggmail.com'),) M CBUER 
BASE DIR '/ datar vwww/OMserverweb' 


Signals 
DEFAULT CHARSET "utf-8" es 


图 13-5 debug toolbar t 
(2) Django 源 码 自动 重 载 (reload) 方案 


本 方案 结合 uwsgi 的 “--touch-reload” 参 数 来 实现 ， 参 数 格式 : --touch-reload" 文 件 "， 即 当 该 参数 值 指定 的 文件 发 生变 化 (修改 或 touch 操 作 ) 时 ，uwsgi 进 程 将 自动 重 载 (reload) ， 从 而 使 我 们 
的 项 目 代码 刷新 生效 。 另 外 ， 如 何 保证 一 旦 更 新 项 目 源码 立即 触发 变更 --touch-reload 指 定 的 文件 ?Linux 系 统 下 的 inotify 可 以 做 到 这 点 ， 具 体操 作 如 下 。 


1) 在 项 目 目 录 中 创建 一 个 监视 文件 : 


# mkdir /data/www/OMserverweb/shell # 在 项 目 目 录 中 创建 一 个 存放 监视 文件 的 目录 shell 
# touch reload.set # 创 建 一 个 监视 文件 reload. set 

# yum -y install inotify-tools # 安 装 inotify 程 序 包 

# uwsgi 启 动 脚本 添加 \--touch-reloagd” 项 
# /usr/bin/uwsgi --ini "/usr/local/nginx/conf/*.ini" --touch-reload "/data/www/OMserverweb/shell/reload.set" 


2) 编写 监视 脚本 : 


# vi /data/www/OMserverweb/shell/autoreload.sh 
#! /bin/sh 
objectdir-"/data/www/OMserverweb" 
# 启动 jnotify 监 视 项 目 目录 ， 参 数 \--exclude” 为 忽略 的 文件 或 目录 正则 
/usr/bin/inotifywait -mrq --exclude " (static|logs|shell|\.swp|\.swx|\.pyc|\.py\~) " --timefmt '£d/£m/£y %H: %M' --format '%T %w%f' --event modify, delete, move, create, atti 
do 
# 项 目 源码 发 生变 化 后 ， 触 发 touch reload.net 的 操作 ， 最 终 使 wsgi 进 程 重 载 ， 达 到 刷新 项 目 源码 的 目的 
/bin/touch /data/www/OMserverweb/shell/reload.set 

continue 
done & 


3) 启动 脚本 开启 项 目 目录 监视 : 


# /data/www/OMserverweb/shell/autoreload.sh 


13.5 “系统 功能 异 块 设计 


13.5.1 ”前端 数据 加 载 模块 


OMServer 平 台 的 Web 前 端 采 用 prototype.js 作 为 默认 Ajax 框 架 ， 通 过 get 方 式 向 定义 好 的 Django 视 图 发 起 请 求 ， 功 能 视图 通过 HttpResponse () 方法 直接 输出 结果 ， 前 端 会 将 输出 的 结果 做 页 面 泻 
染 。 图 13-6 为 应 用 ID (app categld) 等 于 1 的 HttpResponse () 输出 结果 ， 前 端 会 将 这 个 结果 串 进 行 分 割 ， 然 后 填充 页 面 元 素 ， 后 端 返 回 主机 信息 。 


€ Q | © omserver.domain.com/autoadmin/server list/?app categId-1 


-— 


192. 168. 1. 10, 192. 168. 1. 20|192. 168. 1. 10*en2012-0'1-010, 192. 168. 1. 20*sn2013-08-020 


图 13-6 ”后 端 返回 主机 信息 


前 端 各 区 域 对 应 的 数据 库 表 及 视图 方法 见 图 13-7。 


server fun categz& 


server fun categ() 


~、 


[Linux Web | 


||Linux.Hadoop 
Linux. Cache 
Linux. Memcached 
Linux. Mysql 

Linux. Proxy 


Window E Mssaql 


server app categik Windows. Web 


server app categ() 


server list 


server list() 


<- A E ez Fd 2890-5 
|| WWW domain com 
j bbs.domain.com 


|192.168.1.21 
| 192.162.1.22 


3 


module listz& 
module list() 


resin 醒 置 文件 


前 端 各 区 域 对 应 后 台 方 法 及 数据 库 表 


图 13-7 
局 部 方法 代码 如 下 : 
[/data/www/OMserverweb/autoadmin/views.py] 
=Return server IP list 
= 返回 服务 器 列表 方法 
def server list (request) : 
ip-" Lid 
ip | e 
if not 'app categId' in request .GET: 
app categlId-"" 
else: 
app categId-request.GET['app cate gId'] # 获 取 用 户 选 择 的 应 用 分 类 ID | 
#ServerList 为 server 1ist 表 模型 对 象 ， Sco end SERE Je TRUE 3: PURIS 
ServerlistObj = ServerList.objects.filter (server app id-app categId) 


for e in ServerListObj: 
ipt-", "re.server lip 
ip hostname--", 

server list string-ip[l: 


"re.server lipt"*"4*e.server name 
]*"|"x*ip hostname[l: 


# 输出 格式 : 192.168.1.10, 192.168.1. 20|192.168.1.10*sn2012-07-010, \ 


#192.168.1.20x*sn2013-08-020， 其 中 17 分 隔 符 前 部 分 为 IF 地 址 ， 作 为 HTMI 
目的 是 为 后 端 提 供 主 机 名 及 1 


下 拉 框 显示 项 ， 


# 分 隔 符 后 部 分 为 <option> 的 value， 


目标 地 址 支持 


以 ~*“ 号 作为 分 隔 符 ， 


return HttpResponse (server list string) 


=Return module list 


回 功能 模块 列表 方法 


def module list (request) : 
module . | id-"-1" 


Ful 


module name=u" 请 选择 功能 模块 Pttp://www.hzcourse.com/resource/read 


4 ModuleList 为 module 


ist 表 模型 对 象 ， 实 现 读 取 所 有 模块 列表 ， 


ModuleObj = ModuleList.objects.order by ('id') 


for e in ModuleCbj: 
module id+=", 
module name-4-", 
module list string-module 
# 输 出 格式 “请 选择 功能 模块 httt 
# 其 中 \1”“ 号 分 隔 模 块 名 称 与 模块 工 


return HttpResponse (modul 


13.5.2 ”数据 传输 模块 设计 


传输 模块 采用 rpyc 分 布 式 计算 框架 ， 利 用 分 布 式 特点 可 以 实现 多 台 主 控 设 备 的 支持 ， 具 备 一 定 横向 扩展 及 
式 一 样 ， 区 别 是 rpyc 实 现 了 更 高 级 的 封装 ， 支 持 同步 与 异步 操作 、 回 调和 远程 服务 以 及 透明 的 对 象 代理 ， 可 以 轻松 在 Server 与 Client 之 间 传 递 Python 的 任意 对 象 ， 在 性 能 方面 也 非常 高 效 。 


"+str (e. 
"+e.module name 


id) 


name+" | "module . id 
p://www.hzcourse.com/resource/readl 


Book?pat 


D，Web 前 端 获取 数据 后 通过 JavaScript 做 拆 分 与 组 装 


e list string) 


L «option» 


[P 两 种 


Book?path-/openresources/teach ebook/uncompressed/14964/0l 


以 模块 4q 做 排序 


th=/openresources/teach ebook/uncompressed/14964/OEBPS/Text/.. 


E 


EBPS/Text/..." 


查看 最 新 登录 ， 查 看 系统 版 本 |-1， 


. 查看 系统 日 志 ， 


。frpyc 分 为 两 种 角色 ， 一 种 为 Server 端 ， 另 一 种 为 Client 端 ， 与 传统 的 Socket 工 作 方 


介绍 的 是 


Djangoff8module run () 视图 方法 ， 实 现 接收 功能 模块 的 提交 参数 、 加 密 、 发 送 、 接 收 功能 模块 运行 结果 等 ， 局 部 方法 代码 如 下 : 
[/data/www/OMserverweb/autoadmin/views.py] 


= Run module 


= 运行 模块 视图 方法 《向 zpyc 服 务 器 端 发 起 任何 请 求 ) 


def module run (request) : 
import rpyc 
put string-"" 


if not 'ModuleID' in request.GET: # 接 收 模 块 TD、 操 作 主 机 、 模 块 扩展 参数 等 (更 多 源码 已 省 略 ) 
Module Id-"" 

else: 
Module Id-request.GET['ModuleID'] 


put stringt-Module Id-*"QQ" 
try: 

conn-rpyc.connect ('192.168.1.20', 11511) 连接 *pyc 主 控 端 主机 ， 端 口 : 11511 
# 调 用 rpyc Servezr 的 1ogin 方 法 实现 账号 、 密 码 校 验 ， 屏 蔽 恶意 的 连接 
conn.root.login ('OMuser', 'KJS2304ij09gHF734iuhsdfhkGYSihoiwhj38u4h') 
except Exception, e: 
logger.error ('connect rpyc server error: '*str (e) ) 

return HttpResponse ('connect rpyc server error: '+str (e) ) 
# 对 请 求 数 据 串 使 用 tencoqe 方 法 进行 加 密 ， 密 钥 使 用 Django 中 settings.SECRET KEY 的 什 
put string-tencode (put string, settings.SECRET KEY) = 
# 调 用 rpyc Server 的 Runcommangs 方 法 实现 功能 模块 的 任务 下 发 ， 返 回 的 结果 使 用 tdecode 进 行 解密 
OPresult-tdecode (conn.root.Runcommands (put Se ie settings.SECRET KEY) 
return HttpResponse (OPresult) 输出 结果 供 前 端 演 染 


关于 rpyc 服 务 器 端的 实现 原理 ， 首 先 接收 rpyc 客 户 端 传递 过 来 的 信息 ， 通 过 解密 方法 还 原 出 模块 1D、 操 作对 象 、 模 块 扩展 参数 等 信息 ， 表 通过 exec 方 法 导入 相应 的 功能 模块 (要 事先 完成 编写 ， 否 则 会 
提示 找 不 到 指定 功能 模块 ) ， 调 用 功能 模块 的 相关 方法 ， 实 现 操 作 任务 向 业务 集群 服务 器 下 发 与 执行 ， 最 后 将 任务 执行 结果 串 进行 格式 化 、 加 密 后 返回 给 Web 层 。 完 整 实现 代码 如 下 : 


[/home/test/OMServer/OMservermain.py] 


# -*- coding: utf-8 -*- 

import time 

import os, Sys 

import re 

from cPickle import dumps 

from rpyc import Service 

from rpyc.utils.server import ThreadedServer 

import logging 

from libraries import * 

from config import * 

# 定 义 服务 器 庄 模 堵 存 放 路 径 

sysdir-os.path.abspath (os.path.dirname ( file 22) 

sys.path.append (os.sep.join ( (sysdir, 'modules/'*AUTO PLATFORM) ) ) 

class ManagerService (Service) : 
# 定 义 1ogin 认 证 方法 ， 对 外 开放 调用 的 方法 ， rpyc 要 求 加 上 、 exposed“ 前 经， 调用 时 使 用 
# login © 即 可 
def exposed login (self, user, passwd) : 

if user--"OMuser" and pude eu LR D NOR 

self.Checkout pass-True # 认 证 结果 标记 变量 ， 值 为 True“ 则 认证 通过 ， 反 之 

# 认 证 失败 


else: 
self.Checkout pass-False 
def exposed Runcommands (self, get string) : 
logging.basicConfig (level-logging.DEBUG, # 启 用 系统 日 志 记录 
format='% (asctime) s [$ (levelname) s] $ (message) s', 
£ilename-sys.path[0]*'/logs/omsys.log', 


emode-'a') 
# 判 断 是 否 通过 认证 
try: 


EU 


if self.Checkout pass! -True: 
return tencode ("User verify failed! ", SECRET KEY) 


except: 


return tencode ("Invalid Login! ", SECRET KEY) 

# 获 取 rpyc Client 的 请 求 串 get_string， 通 过 tdq Ge 方法 解密 后 再 进行 分 隔 ， 分 隔 符 为 ~@Q@” 
self.get string array-tdecode (get string. SECRET KEY) .split ('@@') 
self.ModuleId-self.get string array[0] # 获 取 功 能 模块 ID 
self.Hosts-self.get string array[1] # 获 取 操 作 目 标 主机 
sys param array-[] # 获 取 功 能 模块 的 扩展 参数 并 追加 到 列表 
for i in range (2, len (self.get string array) -1) : 

Sys param array.append (self.get string array[i]) 
# 加 载 模块 TD 应 对 的 模块 名 ， 格 式 为 ~Mig “+ 模块 TD， 如 “Miqd 1001.py" 
mid-"Mid "+self.ModuleId 
importstring = "from "+mid+" import Modulehandle" 
try: 


nn 


exec importstring 
except: 
add tencode (u"module\""+mid+u"\"does not exist, Please add 
it", SECRET KEY 
FRU RUD 下 发 执行 任务 
Runobj-Modulehandle (self.Moduleld, self.Hosts, sys param array) 
Runmessages-Runobj.run () 
RARI] df? ZH TERRA, x dRFunc. Ansible. Saltstack 
if AUTO PLATFORM--"func": 
if type (Runmessages) -- dict: 
returnString = poca form (Runmessages, self.Hosts) 
else: 
returnString = str (Runmessages) .strip () 
elif AUTO PLATFORM--"ansible": 
if type (Runmessages) == dict: 
returnString = ansible transform (Runmessages, self.Hosts) 
else: 
returnString = str (Runmessages) .strip () 
elif AUTO PLATFORM--"saltstack": 
if type (Runmessages) == dict: 
returnString = saltstack transform (Runmessages, self.Hosts) 
else: 


turnString = str (Runmessages) .strip () 

# 对 返回 给 Ns Client 的 数据 串 进行 加 密 

return tencode (returnString, SECRET KEY) 
s-ThreadedServer Mage ue port-11511, auto | register-False) 


s.start €) 自动 Ypyc 服 务 监听 、 接 收 、 响 应 请 求 


数据 传输 的 安全 性 关系 到 整个 运营 平台 的 生命 线 ， 因 此 严格 做 好 入 侵 安 全 防范 至 关 重 要 。OM Server 平 台 采 用 base64.b64encode () 、base64.b64decode () 加 上 密 钥 混淆 算法 (RC4) 实现 数据 的 
加 密 与 解密 。OM Server 平 台 遵 循 一 个 原则 ， 数 据 在 传输 之 前 调用 tencode () 方法 进行 加 密 ， 在 数据 接收 完毕 后 调用 dencode () 方法 进行 解密 。 解 密 的 密 钥 采用 项 目 settings.py 中 的 SECRET_KEY 变 
值 。 同 时 在 rpyc 服 务 器 端 添加 login () 方法 ， 实 现 逻 辑 层 的 安全 防护 。 


[/home/test/OMServer/libraries.py] 


f -*- coding: utf-8 -*- 
#! /usr/bin/env python 
import random, base64 
from hashlib import shal 
#RC4 加 密 算法 
def crypt (data, key): 
x=0 
box 
for 


range (256) 
in range (256) : 
= (x + box[i] + ord (key[i $ len (key) ]) ) $ 256 


X H- Il 


box[i], box[x] = box[x] box [i] 
x-—-y-0 
out - [] 
for char in data: 
x= (x+ 1) $ 256 
y= (y + box[x]) % 256 
box[x], box[y] = box[y]; box[x] 
out.append (chr Cord (char) ^ box[ (box[x] + box[y]) % 256]) ) 
return ''.join (out) 


# 使 用 RC4 算 法 加 密 编码 后 的 数据 ，data 为 加 密 的 数据 ，key 为 密 钥 
def tencode (data, key, encode=base64.pb64encode, salt length-160) : 
"""RCA encryption with random salt and final encoding""" 
salt = '! 
for n in range (salt length) : 
salt += chr (random.randrange (250) ) 
data = salt + crypt (data, shal (key + salt) .digest (OO) 
if encode: 
data = encode (data) 
return data 
# 使 用 RC4 算 法 解密 编码 后 的 数据 ，data 为 加 密 的 数据 ，key 为 密 钥 
def tdecode (data, key, decode=base64.b64decode, salt length-10) : 
if decode: 
data = decode (data) 
salt = data[: salt length] 
return crypt (data[salt length: ], shal (key + salt) .digest © ) 


13.5.3 “平台 功能 模块 扩展 


OMserver 平 台 模 块 的 扩展 需要 完成 两 件 事情 ， 一 是 在 前 端 添加 模块 基本 信息 ， 二 是 在 服务 器 端 编写 对 应 的 任务 模块 ， 下 面 对 具 体内 容 进行 详细 说 明 。 
(1) 添加 前 端 模块 


添加 前 端 模块 包括 指定 模块 名 称 、 功 能 说 明 、 模 块 扩 展 (HTML 表 单 作为 模块 参数 ) 等 ， 具 体操 作 是 点 击 首页 的 【添加 模块 】 按 钮 ， 跳 转 到 “添加 模块 ”表单 页 面 ， 其 中 最 关键 的 是 “模块 扩展 ”输入 
框 ， 支 持 所 有 HTML 表 单元 素 ， 后 台 通 过 name 属 性 引用 其 值 (value) 。OMserver 目 前 支持 最 多 两 个 扩展 参数 ，name 属 性 要 求 使 用 “sys_param_1”、“sys_ param_2” 作 为 其 定义 值 ， 当 然 ， 扩 展 更 多 
参数 的 改造 成 本 也 非常 低 。 在 本 示例 中 添加 “重启 进程 服务 ”模块 ， 具 体操 作 如 图 13-8 所 示 。 


是 交 后 将 返回 新 增 模块 的 ID， 该 模块 1D 同 时 会 作为 服务 器 端 任务 模块 的 后 缀 名 ， 如 图 13-9 所 示 ， 记 下 模块 ID “1007”， 前 端 模 块 添加 完毕 。 
—rraá— IEIUNII EREIGNIS 
iei: 重 店 进程 服务 
功能 说 明 : [<b>= 功 能 说 明 </b>]<br> 重启 目标 服务 器 指定 的 进程 或 服务 *3 HTML 
进程 服务 名 称 : 


<select name-" sys param |] id-"sys param 1"? 
ioption value-"resin'" selected?rezsin£/option? 
ioption value-"nginx ?nzinxi/option? 
£oaption value-"haproxy'^haproxy£/option? 
ioption value=" apache" ?apachei/option? 
ioption value-"mysql'?mvysqlz/option? 
ioption value-"lighttpd »lighttpdz/aoption? 

<r select? 


模块 扩展 : 


”对 萄 到 持 两 个 表单 扩展 委 头 ， 了 前 各 约定 为 sys param 1". "sys param 2^ 


图 13-8 添加 前 端 模块 


SEITE TRE TR ER 


IT MEMEITSUTIT | 
功能 尚明: 。 ”|[<b> 功 能 说 明 </b>]<br> 重启 目标 服务 器 的 指定 的 进程 或 服务 = 支持 HTML 
进程 服务 名 称 : 


| 
|'&zelect name-'sys param 1 Id svs param 1 > 


ioption value-"resin' selected>resins option? 
Hin pe : 


JE I E 


a 

a 

$ i 

< 3 iu 模块 前 端 添加 成 功 ， 模 块 ID 为 ; 

1 下 二 步 请 在 服务 器 端 蝙 写 模块 逻辑 ， 


模块 扩展 ; 


18 x 


四 


*ORERGHSPHTGRB ESA IDEA Sys param 1". "sys param 2" 


bx 返回 


图 13-9 ”提交 前 端 模块 添加 
(2) 添加 服务 器 端 任务 模块 


服务 器 端 模块 的 作用 是 负责 具体 远程 操作 任务 的 功能 封装 ， 支 持 3 种 Python 自 动 化 操作 组 件 ， 包 括 Saltstack、Ansible、Func。 不 同 组 件 的 API 语 法 及 返回 数据 结构 都 不 一 样 ， 因 此 OMServer 在 设计 时 
就 将 不 同 组 件 的 模块 进行 隔离 ， 具 体 模块 目录 结构 如 图 13-10 所 示 ， 在 模块 目录 (modules) 下 组 件 名 作为 二 级 目录 名 ， 二 级 目录 下 为 具体 的 任务 模块 ， 文 件 名 称 由 “Mid_ ”+ 模块 ID 组 成 ， 与 前 端 生成 的 
模块 ID 进行 关联 。 


[root85N2013-08-020 OMServer]ft tree modules/ 
modules/ 
ansible 

anit  .py 
Mid 1001.py 
Mid 1002.py 
Mid 1005.py 
Mid 1004.py 
Mid 1005.py 
Mid 1006.py 
Mid 1007.py 
Public lib.py 


Init  .py 
Mid 1001.py 
Mid 1002.py 
Mid 1005.py 
Mid 1004.py 
Mid 1005.py 
Mid 1006.py 
Mid 1007.py 
Public lib.py 
saltstack 
Init .DY 
Mid 1001.py 
Mid 1002.py 
Mid 1005.py 
Mid 1004.py 
Mid 1005.py 
Mid 1006.py 
Mid 1007.py 
Public lib.py 


图 13-10 ”服务 器 端 模块 目录 结构 


关于 任务 模块 的 编写 ， 不 同 组 件 的 实现 规范 和 方法 都 不 一 样 ， 在 编写 任务 模块 之 前 需要 更 新 配置 文件 config.py 的 两 个 选项 ， 其 中 “AUTO_PLATFORM” 为 指定 组 件 环境 ， 可 选项 为 “ansible”、 
"saltstack" , "func" , "SECRET KEY" 为 指定 加 密 、 解 密 的 密 铀 ， 与 项 目 settings.py 中 的 SECRET_ KEY 变量 保持 一 致 。 另 外 modules/ (ansible|saltstack|func) /Public lib.py 文 件 的 作用 是 导入 、 定 
义 各 组 件 的 API 模 块 包 及 全 局 参数 ， 同 时 也 增加 代码 的 复 用 性 。 


[/home/test/OMServer/config.py] 


# -*- coding: utf-8 -*- 

#! /usr/bin/env python 

AUTO PLATFORM = "saltstack" # 指 定 组 件 环 境 ， 支 持 Saltstack、Ansible、Func 
# 密 钥 ， 与 项 目 中 setting .py 的 SECRET KEY 变 量 保持 一 臻 

SECRET KEY = "ctmj#&amp; 8hrgow ^sj$ejt@9fzsmh o) -= (byt5jmg=e3#foya6u" 


服务 器 端 任 务 模块 由 Modulehandle 类 及 其 两 个 方法 组 成 ， 其 中 _init 。_ () 方法 作用 为 初始 化 模块 基本 信息 ， 包 括 操作 主机 列表 、 模 块 ID、 模 块 扩展 参数 等 ; run () 方法 实现 组 件 API 的 调用 以 及 返回 
执行 结果 。 针 对 “重启 进程 服务 ”这 个 任务 模块 ， 下 面 分 别 介绍 3 个 组 件 的 不 同 实现 方法 。 


1) 编写 Ansible 组 件 ID 为 “1007” 模 块 。 
根据 Ansible 组 件 模块 的 开发 原理 ， 通 过 调用 command 模 块 实现 远程 命令 执行 ， 使 用 copy 模 块 实现 文件 远程 同步 ， 详 细 源 码 如 下 : 


[/home/test/OMServer/modules/ansible/Mid 1007.py] 


f -*- coding: utf-8 -*- 
from Public lib import * 
# 重 启 应 用 模块 进程 服务 
class Modulehandle €) : 


def init (self, moduleid, hosts, sys param row) : # 初 始 化 方法 无 须 改动 
self.hosts = "" 
self.Runresult - "" 
self.moduleid = moduleid # 模 块 ID 


| param array- sys param row # 模 块 扩展 参数 列表 

t.hosts-target host (hosts, "IP") # 格 式 化 主机 信息 ， 参 数 *IP” 为 TP 地 址 ，*SN” 为 主机 名 
HEZ FE 执行 方法 
def run (self 


try: PRERESI 展 参 数 定义 执行 的 不 同 命令 集 


B 


commonname-str (self.sys param array[0]) 
if commonname--"resin": 
self.command-"/etc/init.d/resin restart" 
elif commonname--"nginx": 
self.command-"/etc/init.d/nginx restart" 
elif commonname--"haproxy": 
self.command-"/etc/init.d/haproxy restart" 
elif commonname--"apache": 
self.command-"/etc/init.d/httpd restart" 
elif commonname--"mysql": 
self.command-"/etc/init.d/mysql restart" 
elif commonname--"lighttpd": 
self.command-"/etc/init.d/lighttpd restart" 


# 调 用 Ansible 提 供 的 API (commanq 模 块 ) ， 执 行 远程 命令 


self.Runresult = ansible.runner.Runner ( 

pattern-self.hosts,  forks-forks, 

module name-"command", module args- self.command,. ) .run () 

if len (self.Runresult['dark']) == 0 and len (self.Runresult['contacted']) == 


return "No hosts foundq， 请 确认 主机 已 经 添加 ansible 环 境 ! " 
except Exception. e: 

return str (e) 
return self.Runresult # 返 回执 行 结果 


2) 编写 Saltstack 组 件 ID 为 “1007” 模 块 。 
根据 Saltstack 组 件 模块 的 开发 原理 ， 通 过 调用 cmd () 方法 配置 “cmd.run” 与 “cp.get file" 参数 实现 远程 命令 执行 及 文件 远程 同步 ， 详 细 源 码 (部 分 ) 如 下 : 


[/home/test/OMServer/modules/saltstack/Mid 1007.py] 


def run (self) : 
try: 
client =- salt.client.LocalClient Ú) 


# 调 用 Saltstack 提 供 的 API (cmd. runtik) ， 执 行 远程 命令 

self.Runresult = client.cmd (self.hosts, 'cmd.run', [self.command], \ 
expr_form='list') 
if len (self.Runresult) == 0: 
return "No hosts foundq， 请 确认 主机 已 经 添加 saltstack 环 境 ! " 
except Exception, e: 

return str (e) 

return self.Runresult # 返 回执 行 结果 


3) 编写 Func 组 件 ID 为 “1007” 模块 。 
根据 Func 组 件 模块 的 开发 原理 ， 通 过 调用 clientcommand.run () 方法 实现 远程 命令 执行 ， 使 用 client.copyfile.copyfile () 方法 实现 文件 远程 同步 ， 详 细 源 码 (部 分 ) 如 下 : 


[/home/test/OMServer/modules/func/Mid 1007.py] 


def run (self) : 
try: 
client = fc.Overlord (self.hosts) 


# 调 用 Func 提 供 的 API (command.run 模 块 )， 执 行 远 程 命令 
commonname=str (self.sys param array[0]) 
self.Runresult-client.command.run (self.commana) 

except Exception, e: 
return str (e) 
return self.Runresult # 返 回执 行 结果 


任务 模块 编写 完成 后 ， 启 动 服务 端 服务 ， 运 行 以 下 命令 : 


# cd /home/test/OMServer 
# python OMservermain.py & 


最 后 ， 打 开 浏 览 器 访问 http://omserver.domain.com， 效 果 见 图 13-11。 


OMsServer 


| Linux Hadoop n 1007 je Eug ERST 3 
Linux Cache 1 : Zi 
Linux Memcached MHeHisbewel | nginx [= 
Linux hhysgl 
Linux Proxy = 
ZB seraomserver]* 

Windows- Mssg TÜ: 192.168.1.2 1 
Windows Wal - [E zs Bh 
CHUERERGBB- = Stopping nginx: [ C 
aawe doman. caT Jtarting ngmx: | OK ] 
biis domam com 


192.168.1.21 
132.168.1.22 


图 13-11 远程 操作 功能 截图 


Qs RCAZn 8 3E 25 3C 3E http:/ /www.snip2code.com/Snippet/27937 / Blockout-encryption-decryption-methods-p.« 


第 14 章 ”打造 Linux 系 统 安全 审计 功能 


随 着 互联 网 逐渐 深入 我 们 日 常生 活 的 方方面面 ， 网 络 安全 威胁 也 随 之 严重 ， 比 如 服务 器 渗透 、 数 据 窃取 、 恶 意 攻 击 等 。 为 了 解决 网 络 安 全 的 问题 ， 人 们 采取 了 各 式 各 样 的 防护 措施 来 保证 网 络 或 服务 的 
正常 运行 ， 其 中 系统 安全 审计 是 记录 入 侵 攻击 主机 的 一 个 重要 凭证 : 实时 跟踪 黑客 的 操作 记录 ， 可 在 第 一 时 间 监 测 到 攻击 者 的 行为 ， 并 让 管理 员 采 取 相 应 的 应 对 措施 ;同时 也 可 作为 日 后 攻击 者 的 犯罪 证 
据 ， 为 后 续 的 审计 工作 提供 数据 依据 ， 具 有 可 靠 性 、 完 整 性 、 不 可 抵赖 等 特点 。 本 章 将 介绍 在 OMServer 平 台 扩 展 Linux 系 统 安全 审计 功能 。 


14.1 平台 功能 介绍 


安全 审计 功能 作为 OMServer 平 台 的 一 部 分 ， 扩 展 了 Linux 系 统 安全 审计 的 功能 ， 实 现实 时 跟踪 所 有 Linux 服 务 器 系统 登录 账号 的 操作 记录 ， 由 于 操作 记录 异地 集中 式 存储 ， 即 使 攻击 者 做 了 事后 的 操作 
痕迹 清理 也 无 济 于 事 。 该 功能 结合 Linux 系 统 的 history (命令 行 历史 记录 ) 工作 机 制 实现 ， 同 时 设置 用 户 全 局 环境 /etc/profile 的 history 属 性 变量 ， 实 现 定 制 系统 用 户 实 时 触发 事件 ， 在 该 事件 中 加 入 Python 
编写 的 上 报 脚本 ， 实 现 数据 的 实时 跟踪 ， 最 后 利用 OM Server 的 前 端 作为 实时 输出 展示 ， 平 台 首页 截图 见 图 14-1。 


OMServer 


Linux Hadoop 
Linux Cache 

Linux Memcached 
Linux Whysol | 
Linux Proxy 
Windows. Ms sal 
Windows- Web - 
<E AEE RE SEIS 


www. domain- can 


(192.168.1.20 


192.168.1.20 


192,168.1.21 
1392.168.1.22 


|192.168.1.20 


|[192.158.1.21 
1192.1568.1.21 
[192.168.1.20 
[192.168.1.20 


[192.158.1.20 
(192.158.1.20 


|192.168.1.20 
[1932.168.1.20 


|[user&omserver]s 
[192.168.1.20 
(192.168.1.20 


root 
root 
root 
root 
root 
root 
root 
rpot 
Foot 
root 
root 
root 
rnot 
root 
root 
root 
root 
root 
root 
root 
root 
root 
root 


192.158.1.20 


192.158.1.20 
192.158.1.20 
192.168.1.20 
192.158.1.20 
192.1658.1.20 
192.158.1.20 


192.158.1.20 
192.158.1.20 


192.158.1.20 


2014-06-06 00:03: 
2014-06-06 00:03: 
2014-06-06 00703: 
2014-06-06 00:03: 
2014-06-06 00:03: 
2014-06-06 00:03: 
2014-06-06 00:02: 
2014-06-06 00702: 
2014-06-06 00:02: 


29 # dear 

24 # ps -eflgrep uwsgi|wc -| 
193 # ps -ef[grep uwsqi 

10 # ls 

09 £ cd .. 

01 s» Is 

598 F vi settings.py 

53 3$ Is 

52 * cd.. 


2014-06-06 00:02:46 # vi syslog 


2014-06-06 00:02: 
2014-06-06 00:02: 
2014-06-06 00707: 
2014-06-06 00:02: 
2014-06-06 00:02: 
2014-U6-U6 00:02: 
2014-06-05 23:49: 


35 # Is 

32 Æ cd logs 

A Xs 

27 * cd OMserverweb/ 
Z1 xls 

2U # cd /dataf'www 

53 £ service nginx start 


2014-06-05 23-49:42 # senice nginx stop 


2014-06-05 23:32: 
2014-06-05 23:32: 
7014-06-05 23:32: 
2014-06-05 23:32: 
2014-06-05 23:31: 


20 # df -h 

15 # hee -rm 
06 # date 

02 £ upüme 
5B # cd /home 


14.2. 系统 构 染 设计 


图 14-1 平台 首页 截图 


OMServel 平 台 安全 审计 的 功能 同样 基于 B/S 结构 ， 服 务 端 的 数据 来 源 于 业务 集群 Agent 实 时 上 报 ， 使 用 MySQL 数 据 库 作 为 数据 存储 ， 客 户 端 采用 prototype.js 前 端 架 构 实现 数据 同步 展示 ， 系 统 架 构图 


见 图 1 4-2。 


从 图 14-2 中 可 以 看 出 系统 的 整体 架构 ， 首 先 管理 员 在 业务 服务 器 集群 部 署 Python 数据 上 报 脚 本 ， 通 过 OMSserver 提 供 的 cgi 接 口 实现 数据 接收 、 入 库 ， 


审计 信息 ， 整 个 流程 结束 。 


14.3 ”数据 库 结构 设计 


14.3.1 ”数据 库 分 析 


à f d Mes i 
办 公设 备 


& 


Web 服 


OMServer 


图 14-2 ”系统 架构 图 


| 
| 
| 
| 
L 


业务 服务 器 集群 (Python agent) 


最 后 通过 访问 前 端 页 面 来 查看 、 跟 踪 服 务 器 上 报 的 


安全 审计 服务 器 端 功 能 是 在 OMServer 平 台 上 进行 扩展 ， 追 加 一 张 server_history 表 ， 用 于 操作 事件 信息 的 存储 ， 且 与 server list 的 IP 字 段 配 置 外 键 关联 。 表 信息 说 明 如 下 。 


server_history: 操作 事件 表 。 


server_list: 服务 器 列表 。 


server lip 字 段 进行 关联 ， 


14.3.2 ”数据 字典 


server list 服 务 器 列表 。 


字段 名 
server name 
server WIp 
server lip 
server op 


server app id 


server history Ez Ek, 


ID 

history id 
history ip 
history user 
history datetime 


db datetime 


history command 


数据 库 模型 功能 沿用 了 OMServer 系 统 中 主机 表 (server list) 的 层次 结构 ， 且 追加 了 操作 事件 表 (server history) 
详细 见 图 14-3 的 数据 库 模型 。 


"gn 


> server categ name CHAR(20) 


允许 非 室 


-ae we ERN 


char(15) 


[ «wu» | To — 
TD EE EE 


int(11) 


int(11) 


-al å | 
Laws [ o | 
Laws | —— | | — 
Lame | ——— | x |  —— 


timestamp | CURRENT TIMESTAMP EE GM NEN 


char(255) 


| 2 server name CHAR(13) 
© server wip CHAR(15) 
— 一 一 * server lip CHAR(12) 

| 9 server. op CHAR(10) 

9 server app id INT(11) 


* ID INT(11) 
—— — Jý * server categ id INT(11) 
> app categ name CHAR(30) 


» 


图 14-3 平台 数据 库 模 型 


备注 
EBLA TR 
主机 外 网 IP 
主机 内 网 IP 
EBLBRTE 52 


| 服务 应 用 re 


备注 
E 键 ID 
事件 ID 
事件 IP 地 址 
事件 用 户 名 
事件 时 间 
人 人 库 时 间 
事件 命令 


， 其 中 ， 将 表 server_history 的 history ip 字段 设置 成 外 键 ， 与 server list 表 中 的 


tmp INT (11) | 

> histpry id INT(11) 

* histpry ip CHAR(15) 

Ə histpry user CHAR( 15) 

* histpry datetime DATETIME 
Ə db. date&ime TIMESTAMP 

Ə histpry. command CHAR(255) 


b 


144 ”系统 环境 部 署 


14.4.1 ”系统 环境 说 明 


系统 安全 审计 功能 的 服务 器 端 作为 OMServer 项 目的 App 存 在 ， 关 于 服务 器 端 Web server 的 环境 搭建 本 节 将 不 再 说 明 。 为 了 便于 读者 理解 ， 下 面 对 上 报 主 机 系统 环境 配置 、Agent 与 服务 器 端 Python 实 
现 方法 进行 详细 说 明 ， 环 境 设备 角色 如 表 14-1 所 示 。 


表 14-1 系统 环境 说 明 表 


角色 
WEBServer 
AppsServer 
AppServer 


14.4.2 上 报 主机 配置 


系统 安全 审计 功能 主机 上 报 需要 完成 两 个 任务 ， 


(1) 系统 用 户 环境 配置 


通过 配置 Linux profile 的 history 相 


d vi /et 
# 追加 
#add 
export 
expor 
expor 
export 
export 


=E HE db ob dE dE 


shopt -s his 


"his! 


"his! 


pt 
by 


file 


OMAudit 


LE-S$HOM 


ct ctr« 


E-1200 
iESIZE-1200 


1 N 


[STCONTROL=ignoredup 
STTIME 


"root 


2014-06-05 


E/.bash history 
# 指 定 history 命 


;FORMAT-" `whoami ` 
23: 32: 16 free m” 


|. ma | P 


SN2012-07-010 192.168.1.10 Django-uwsgi* MySQL 环境 
SN2012-07-021 192.168.1.21 Python 2.4 或 以 上 
SN2012-07-022 192.168.1.22 Python 2.4 或 以 上 
， 二 为 编写 上 报 Python 脚 本 ， 下 面 一 一 进行 说 明 。 
变量 来 实现 与 安全 审计 功能 的 对 接 ， 包 括 指定 系统 账号 history 存 放 路 径 、 存 储 长 度 、 扩 展 信 息 、PROMPT_ COMMAND 事 件 等 ， 更 多 见 以 下 配置 及 含义 说 明 。 


S 
SF ST" 


PROMPT COMMAND 变 量 最 为 核心 ， 
tory -a” 将 目 


typeset 


保存 配置 后 使 其 生效 ， 


typeset 


tory -r" 将 histfi 
V /home/tes: 


实现 了 指 


前 新 靖 的 history 全 全 和 histfies 中 ， 
les 的 内 容 读 到 内 存 中 ， 即 可 以 通 
t/OMAudit/OMAudit agent.py $ (history 
命令 ， 且 作为 参数 传递 给 OMAuditmain. py 本 ， 
export PROMPT COMMAND-"history - 


tappend 
-r PROMPT COMMAND 
-r HISTTIMEFORMAT 


运行 D 


(2) 客户 端 上 报 脚本 


客户 端 上 报 脚 本 的 作用 是 将 接收 的 最 新 Linux 命 令 “$ (history 1) ”及 服务 器 相关 信息 提交 到 OMServer 主 机 ， 其 中 config.py 为 上 报 agent 的 配置 文件 ， 涉 及 三 个 选 


# 历 史 清 


[/home/test/OMAudit/config.py] 


4 -*- coding: 


m 


utf-8 


#! /usr/bin/env python 


Net driver 
OMServer address = "omserver.domain.com" 
Connect TimeOut = 


"eth0" 


3 


# 指 定 上 报 超时 时 间 ， 


OMAudit agent.py 作 为 主 上 报 agent 程 序 ， 负 


bb 现 bash 提 示 符 前 执行 KWR f 


# 指 定 用 户 history 日 志 存 放 路 径 
令 输 出 的 记录 数 
# 指 定 历史 记录 文件 .bash history 的 最 大 存储 行 数 
# 不 记录 连续 重复 的 命令 
# history 命 令 显示 当前 记录 的 月 


定 内 容 在 出 


BE 


| 除 记录 的 所 有 命 命令 


竟 说 上 明 


户 与 时 间 ， 例 如 : 


AAT) 


"history -c” 
过 history 查 看 ; 
1) "n 


history -r; 


通过 $ (his 
做 后 续 的 命令 数据 信息 上 报 


history =g; Tr th 


tory 1) 获取 最 后 一 条 


ome/test/OMAudit/ OMAudit agent.py $ (history 1) ' 


m 以 添加 形式 加 入 
# 设 置 关键 变量 只 读 ， 提 


STE 


H 


source/etc/profile" MS, 


单位 为 秒 


责 信息 的 上 报 ， 


[/home/test/OMAudit/OMAudit agent.py] 


#! /usr/bin/env python 
#coding: utf-8 


变量 指定 的 文件 
高 安全 性 


$ [ES E 


profile 环 境 配 置 完 成 。 


# 为 便于 记录 上 报 来 源 主机 ， 获 取 指 定 网 卡 驱动 的 ] 
#OMServer 服 务 器 端 地 址 ， 作 为 上 报 的 目的 


[P 地 址 


项 ， 详 细 说 明 如 下 : 


采用 了 httplib 模 块 作为 HTTP 客 户 端 ， 详 细 源 码 及 说 明 如 下 : 


import sys 
import socket 
import fcntl 
import struct 
import logging 
from config import * 
import urllib. httplib 
socket.setdefaulttimeout (Connect TimeOut) HAAJ Socket FIR] CE oS HTTP RE) 
logging.basicConfig (level-logging.DEBUG, # 启 用 日 志 记 录 
format-'£ (asctime) s [$ (levelname) s] $ (message) s', 
filename- Sys. path[0]-*'/omsys.log', 
filemode-'a') 
# 对 $ (history 1) 信息 进 行 合法 校 验 ， 少 于 6 个 参数 则 报错 ， 正 确 的 格式 为 \173 root 2014-06-07 22: 05: 56 ls” 


if len (sys.argv) «6: 
logging.error ('History not configured in /etc/profile! ') 
sys.exit () 
def get local ip (ethname) : # 获 取 本 地 IP 地 址 函数 ， 用 来 确认 数据 来 源 
try: 
Sock = socket.socket (socket.AF INET, socket.SOCK DGRAM) 
addr = fcntl.ioctl (sock.fileno (), 0x8915， struct.pack ('256s', ethname) ) 
return socket.inet ntoa ( addr[20: 24] ) 
except Exception, e: 
logging.error ('get localhost IP address error: '*str (e) ) 
return "127.0.0.1" 
def pull history (http get param-"") : # 数 据 上 报 函 数 
try: 
# 与 OMServer 服 务 器 建立 HTTP 连 接 ， 指 定 超时 时 间 
http client -httplib.HTTPConnection (OMServer address, 80, timeout= Connect TimeOut) 
http client.request ("GET", http get param) # 发 起 GET 请 求 E 
response -http client.getresponse () # 获 取 HTTP 返 回 对 象 
if response.status ! = 200: # 非 HTTP 200 状 态 则 退出 
logging.error ('response http status error: '*str (response.status) ) 
sys.exit () 
http content-response.read () .strip O # 返 回 字符 串 非 NOK” 则 退出 
if http content ! = "OK": 
logging.error ('response http content error: '+str (http content) ) 
sys.exit () 
except Exception, e: 
ogging.error ('connection django-cgi server error: '*str (e) ) 
sys.exit () 
finally: 
if http client: 
http client.close () 
else: 
logging.error ('connection django-cgi server unknown error.') 
sys.exit () 
Sysip = get local ip (Net driver) # 调 用 获取 本 地 IP 函 数 
SysUser = sys.argv[2] # 获 取 history 信 息 中 的 系 统 用 户 
History Id = sys.argv[1] # 获 取 history ID 信 
History date = sys.argv[3] # 获 取 history cn 
History time = sys.argv[4] # 获 取 history 时 间 信 息 
History command = "" 
for i in range (5, len (sys.argv) ) : # 获 取 history 的 系统 命令 信息 
History command-4- sys.argv[i]-*" " 
# 合 并 所 有 信息 的 HTTP GET 参 数 格式 ， 部 分 信息 使 用 url1ib.quote 进 行 URI 编 码 
s= "/omaudit/omaudit pull/? history id="+History Id+"& 


"&history datetime-"4History dateturllib.quote (" ") + 


mand-"-urllib.quote (History command.strip () ) 


pull history (s) 


# 调 用 数据 上 报 函 数 


history ip-"4Sysipt"&history user="+SysUser+ \ 
History time-"&history com 


WU "/home/test/OMAudit/OMAudit agent.py” 可 执行 权限 ， 
务 器 端 ， 见 图 14-4。 


* chmod 4x/home/test/OMAudit/OMAudit agent.py 


执行 以 下 chmod 命 令 ， 


客户 端 上 报 agent 部 署 完毕 。 接 下 来 使 用 SSH 工 具 登 录 Linux 服 务 器 ， 输 入 的 任何 shell 命 令 都 会 即时 同步 到 服 


[useri&ormserver] 

197.168.1.470 root 
192.168.1.20 root 
192.168.1.20 root 
192.168.1.20 root 
1927.168.1.20 root 
197.1688.1.20 ront 


7014-06-08 20:48:19 # ntpdate 210.72.145.44 
2014-06-08 20:48:45 £ date 

2014-06-08 20:48:39 # uptime 

2014-06-08 20:48:28 # free -m 

2014-06-08 20:48:23 # df -m 

2014-06-08 20:48:16 X dear 


| EE 192.168.120 - SecurecRT 


Elle Edit View Options 
和 23 pA dA [3 5m [mme 77 ER 
*182.163.1.20 | LU roota tM] 2013- 58-6 2] — ~ | e root S2013 4 BE- AH. 
| [rootesN2013- -08-020 OMAudit]# df -m | 
Filesystem 1M-blocks 
/üev/sdal 147/65 
tmpfs eA? e eA? 
/dev/sda3 4385 280g 1355 
[root8*sN2013-88-070 OMAudit]|£ free -m 
total used free 


Transfer Script Tons Help 


zAt-R- 


< 4192168110 — 


Use% Mounted on 
r3* og 

0 /dev/shm 
oš% /data 


Used Available 
18111 30094 


shared buffers cached 


Mem: 


482 


| -7+ buffers/cache: 


Swap: 


1823 


473 
aaa 
eio 


e 10 1/ 


E 14-4 
14.5 ”服务 器 端 功能 设计 
14.5.1 ”Django 配置 
安全 审计 功能 作为 OMServer 的 一 个 功能 扩展 ， 需 要 Web 服 务 器 端 开发 框架 (Django) 


下 : 


# cd /data/www/OMserverweb 
# python manage.py startapp omaudit 


[rootes5N2013-88-020 OMAudit]? uptime 
20:48:40 up 3 days, 1:23, 1 user, 
[roote5N2013-88-8020 OMAudit]£ date 
Sun Jun $8 28:48:46 CSI 2814 
[root8B*sN27013-88-070 OMAudit]£ ntpdate 710.7? 145.44 


load average: 60.08, 6 04, 9 08 


系统 命令 即时 上 报 并 展示 


同样 做 些 变更 来 支持 新 增 的 功能 。 由 于 该 功能 作为 项 目的 一 个 App， 因 此 ， 第 一 步 需要 创建 一 个 App， 操 作 如 


在 创建 的 omaudit 目 录 中 修改 urls.py， 添 加 App 的 URL 映 射 规 则 ， 内 容 如 下 : 


from django.conf.urls.defaults import * 
urlpatterns = patterns ('omaudit.views', 


(r'^$', 'index') ， 
(r'omaudit pull/$', 'omaudit pull'), # 映 射 到 omaugit_pull 方 法 ， 实 现 客户 端 数据 接收 
(r'omaudit run/$', 'omaudit run') , # 映 射 到 omaugit _ Fun 方法 ， 实 现 前 端 实时 查询 


修改 App 的 models.py， 实 现 与 数据 库 的 关系 映射 ， 内 容 如 下 : 


from django.db import models 
# Create your models here. 
class ServerHistory (models.Model) : 

id = models.IntegerField (primary key-True, 
history id = models.IntegerField () 

history ip = models.CharField (max length-45) 
history user - models. CharField (max |. length-45) 
history datetime = models.DateTimeField () 

db datetime = models.DateTimeField () 

history command = models.CharField (max length-765) 
class Meta: 


db table = u'server history' 


D') 


do column-'I 


# Field name made lowercase. 


如 果 数 据 库 结构 已 经 存在 ， 可 以 通过 python manage.py inspectdb 命 令 来 生成 models 代 码 。 


最 后 修改 项 目 settings.py， 注 册 该 App 名 称 ， 内 容 如 下 : 
NSTALLED APPS = ( 


# 'django.contrib.admindocs', 
'public', 
'autoadmin', 
'omaudit', 


# 添 加 此 行 ， 注 册 该 App 


14.5.2 ”功能 实现 方法 


服务 器 端 提供 了 两 个 关键 视图 方法 ， 分 别 


(1) 前 端 实时 展示 (omaudit run) 方法 


关于 前 端 数据 实时 展示 的 实现 原理 ， 通 过 前 端 Javascript 的 setlnterval () 方法 实现 定时 了 数 调用 ， 首 次 请 求 默认 返回 ID 倒序 最 新 5 条 记录 ， 并 记录 下 LastID (最 新 记录 ID) 
从 而 达到 实时 获取 最 新 记录 的 目的 ， 同 时 也 支持 选择 主机 来 作为 过 


LastID 参 数 ， 数 据 库 查询 条 件 是 “ID>LastID” ， 


实时 展示 (omaudit run) 及 数据 接收 (omaudit pull) , 


下 面 针对 两 个 方法 进行 说 明 。 


， 后 面 的 定时 调用 将 传递 


滤 条 件 ， 功 能 实现 流程 图 见 图 14-5。 
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图 14-5 “前端 数据 展示 流程 图 


omaudit run () 方法 实现 源码 如 下 : 


= 事件 任务 前 端 展 示 方 法 
def omaudit run (request) : 
if not 'LastID' in request.GET: # 获 取 上 次 查询 到 的 最 新 记录 ID 
LastID="" 
else: 
LastlID-request.GET['LastID' 
if not 'hosts' in request.GET: # 获 取 选 择 的 主机 地 址 信息 
Hosts-"" 
else: 
Hosts-request.GET['hosts'] 
ServerHistory string-"" 
host array-target host (Hosts, "IP") .split ('; ') # 调 用 target host 方 法 过 滤 出 IP 地 址 
if LastID=="0":  # 符 合 第 一 次 提交 条 件 ， 查 询 不 加 “id>LastID” 条 件 ， 反 之 
if Hosts=="": # 符 合 没 有 选择 主机 条 件 ， 查 询 不 加 “history ip in host array” 
ERIE, RZ 


ServerHistoryObj = ServerHistory.objects \ 
.order by ('-id') [: 5] 

else: 
ServerHistoryObj = ServerHistory.objects \ 

.filter (history ip in-host array) .order by ('-id') [: 5] 


else: 
if Hosts--""; 
ServerHistoryObj = ServerHistory.objects \ 
.filter (id gt-LastID) .order by ('-id') 
else: 
ServerHistoryObj = ServerHistory.objects \ 
.filter (id gt-LastID, history ip in-host array) .order by ('-id') 
lastigd-"" 
i-0 
for e in ServerHistoryObj: 1388 Jj Ec £5 3, EZA BU Y 
if i==0: 


lastid-e.id 
ServerHistory stringt-"«font color-fcccccc»"*e.history ipt \ 
"«/font»&nbsp; &nbsp; Nt" e.history user*"&nbsp: &nbsp: NC" \ 
str (e.db datetime) +"\t 4 «font color=łffffff>"+e.history commandt"«/font»*" 


i+=1 
ServerHistory string+="@@"+str (lastid) PELE FRN RFR 5 lastid, 
# 前 端 拆 分 
return HttpResponse (ServerHistory string) 


(2) 数据 接收 (omaudit_pull) 方法 


数据 接收 方法 相对 比较 简单 ， 即 将 接收 到 的 信息 直接 入 库 ， 实 现 的 源码 如 下 : 


= 事件 任务 pul1 方 法 
www 
def omaudit pull (request) : 
if request.method == 'GET': # 校 验 HTTP (GET) 请 求 参 数 合法 性 
if not request.GET.get ('history id', ''2: 
return HttpResponse ("history id null") 
if not request.GET.get ('history ip', '"'): 
return HttpResponse ("history ip null") 
if not request.GET.get ('history user', ''): 
return HttpResponse ("history user null") 
if not request.GET.get ('history datetime', ''): 
return HttpResponse ("history datetime null") 
if not request.GET.get ('history command', ''): 
return HttpResponse ("history command null") 
history id-request.GET['history id'] # 获 取 HTTP 请 求 参 数值 


history ip-request.GET['history ip'] 

history user-request.GET['history user'] 

history datetime-request.GET['history datetime'] 

history command-request.GET['history command'] 

historyobj = ServerHistory (history id-history id, \ # 数 据 入 库 Cinsert) 
history ip-history ip, 
history user-history user, \ 
history datetime-history datetime, \ 
history command-history command) 


try: 
historyobj.save () 
except Exception. e: 
return HttpResponse ("入 库 失 败 ， 请 与 管理 员 联 系 ! "+str (e) ) 
Response result="OK" # 输 出 ~OK” 字 符 作 为 成 功 标志 
return HttpResponse (Response result) 
else: 
return HttpResponse ("非法 提交 ! ") 


当然 ， 如 接 入 的 集群 过 于 庞大 ， 服 务 器 端 数据 库 会 逐步 形成 瓶 纪 ， 主 机 审计 信息 入 库 会 出 现 一 定 延 时 ， 影 响 Linux 用 户 操作 体验 ， 一 个 可 行 的 方案 是 采用 信息 异步 入 库 ， 即 先 将 信息 写 入 本 地 ， 再 通过 上 
报 程序 后 台 提 交 信 息 ， 用 户 将 无 感知 。 


第 15 章 ”构建 分 布 式 质量 监控 平台 


中 国 互联 网 呈 多 运营 商 并 存 的 发 展 格局 ， 一 个 注重 用 户 体 验 的 业务 平台 ， 在 上 线 前 就 必须 解决 多 运营 商 互联 互通 的 问题 ， 例 如 电信 、 联 通 、 移 动 等 网 络 的 接 入 。 目 前 有 两 个 常见 方案 ,一 是 将 服务 器 资 
源 放 置 不 同 运 营 商 的 IDC， 二 是 直接 接 入 支持 BGP 协 议 的 IDC。 在 此 之 后 ， 我 们 还 要 考虑 监控 不 同 运营 网 络 访问 业务 平台 的 质量 问题 ， 例 如 骨干 网 络 路 由 延 时 或 调度 不 合理 甚至 网 络 故 障 ， 导 致 访问 业务 网 络 
出 现 延 时 、 丢 包 等 现象 ， 影 响 用 户 体验 。 因 此 ， 必 须 提供 一 种 分 布 式 (多 运营 商 支持 ) 的 业务 服务 质量 监控 机 制 。 本 章 通过 实现 一 套 分 布 式 的 质量 监控 平台 整体 进行 说 明 。 


15.1. 平台 功能 介绍 


分 布 式 质量 监控 平台 实现 了 多 个 数据 采集 点 (不 同 运 莒 商 链 路 ) 对 Web 业 务 平台 进行 探测 ， 采 集 的 信息 包括 DNS 解 析 时 间 、 建 立 连接 时 间 、 准 备 传输 时 间 、 开 始 传输 时 间 、 传 输 总 时 间 、HTTP 状 态 、 
下 载 数据 包 大 小 、 下 载 速度 等 ， 覆 盖 了 HTTP 请 求 的 整个 生命 周期 。 分 析 这 些 数据 ， 可 以 帮助 我 们 快速 发 现 (异常 告警 ) 、 定 位 访问 业务 延 时 过 大 问题 。 通 过 RRDTOOL 做 数据 报表 展示 ， 报 表 类 型 包括 请 求 
响应 时 间 、 下 载 速度 、 可 用 性 的 自 定 义 、 日 、 月 、 年 等 ， 可 以 让 管理 员 了 解 业务 服务 质量 的 整体 趋势 ， 平 台 截 图 见 图 15-1。 
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图 15-1 平台 首页 截图 


15.2 ”系统 构架 设计 

分 布 式 质量 监控 平台 由 三 种 不 同 功能 角色 组 成 ， 第 一 种 为 数据 采集 探测 功能 ， 采 用 Python+ pycur| 模 块 实现 数据 的 采集 并 入 库 MySQL; 第 二 种 为 后 台 定 时 rrdtool 人 作业， 实现 MySQL 数 据 导出 并 更 新 
RRDTOOL, 采用 了 Python+rrdtool| 模 块 实现 ; 第 三 种 为 Web 报 表 展示 ， 采用 Django+MySQL+rrdtool| 模 块 实现 ， 服 务 器 端 采用 了 Nginx+uwsgi 构 建 高 效 的 Web 服 务 ， 根 据 管 理 员 发 起 的 请 求 条 件 输出 不 
同类 型 的 报表 。 系 统 架 构图 见 图 15-2。 


从 图 15-2 中 可 以 看 出 系统 的 整体 架构 ， 首 先 通 过 不 同 采集 点 向 业务 服务 集群 发 起 定时 探测 任务 ， 将 获取 的 响应 数据 入 库 MySQL， 腊 常 返 回信 息 将 触发 告警 。 功 能 模块 定时 从 MySQL 数 据 库 拉 取 数据 做 
rrdtool update 操 作 ， 为 后 续 的 报表 输出 提供 数据 支持 。 最 后 管理 员 通 过 前 端 Web 页 面 查询 、 定 制 输出 报表 ， 整 个 流程 结束 。 
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图 15-2 ”系统 架构 图 


15.3 数据库 结 构 设计 


15.3.1 ”数据 库 分 析 


分 布 式 质量 监控 平台 有 两 张 数 据 库 表 ， 分 别 为 webmonitor_hostinfo 及 webmonitor_monitordata 表 ， 其 中 webmonitor_monitordata 的 FID 字 段 配置 外 键 关联 ， 表 信息 说 明 如 下 : 
: webmohitor hostinfo: 业务 信息 表 


- Webmonitor_monitordata: 采集 数据 信息 表 


15.3.2 ”数据 字典 


webmonitor hostinfo 业 务 信息 表 。 


m T 
as | w | — | x | — | wm 


webmonitor monitordata 采 集 数 据 信 息 表 。 


HID 
NAMELOOKUP TIME 
CONNECT TIME 
PRETRANSFER TIME 
STARTTRANSFER TIME 
TOTAL TIME 
HTTP CODE 
SIZE DOWNLOAD 
HEADER SIZE 
REQUEST SIZE 
CONTENT LENGTH DOWNLOAD 
SPEED DOWNLOAD 
DATETIME 
MARK enum('0','1*) 


15.3.8 ”数据 库 模 型 


MAE | 允许 非 空 | 目 动 迎 增 备注 


是 探测 结果 ID 
”| 业务 DD 
DNS 解析 时 间 
”| 建立 连接 时 间 
”| 准备 传输 时 间 
NO | | 开始 传输 时 间 
NO | | 传输 总 时 间 
| HTTP 状态 或 异常 信息 
NO | | 下 载 数 据 包 大 小 
”HTTP 头 大 小 
| 请 求 包 大 小 
NO | | 下 载 内 容 长 度 
NO | 下 载 速度 
NO ooo 探测 时 间 
NO | | 更 新 RRDTOOL 标记 


© Qoo o 


"E 
Ojo 


从 图 15-3 的 数据 库 EER 图 可 以 看 出 ， 表 webmonitor monitordata 的 FID 字 段 被 设置 为 外 键 ， 与 webmonitor_hostinfo 表 中 的 ID 字段 进行 关联， 作为 采集 信息 数据 与 业务 信息 表 的 唯一 关联 。 


? ID INT(11) 

* AppName CHAR (20) 

© URL CHAR 100) 

* IDC CHAR(10) 

> Alarmtype CHAR (10) 

> Alarmconditions CH AR(20) 


-此 一 一 一 


E | 
p—— 


15.4 系统 环境 部 署 


| * IDINT(11) 
9 FID INT(11) 
2 NAMELOOKUP TIME DOUBLE 
© CONNECT. TIME DOUBLE 
> PRETRANSFER TIME DOUBLE 
* STARTTRAMSFER TIME DOUBLE 
9? TOTAL TIME DOUBLE 
— — — ? HTTP. CODE CHAR(80) 
le SIZE DOWNLOAD INT (5) 
© HEADER SIZE SMALLINT (6) 
O REQUEST SIZE SMALLINT (6) 
二 CONTENT LENGTH DOMNLOAD SMALLINT (6) 
Ò SPEED DOWNLOAD INT(6) 
> DATETIME INT(11) 
| 9 MARK ENUM(O', 1) 
—P—— I ——— Mns 


图 15-3 ”系统 数据 库 模型 


15.4.1 ”系统 环境 说 明 
前 面 介绍 


角 


色 


Web Server 
rrdtool fF Ml 
数据 米 集 (电信 ) 
数据 采集 ( 联通 ) 


15.4.2 ”数据 采集 


数据 采集 功能 角色 需要 完成 两 个 任务 : 一 为 采集 
分 别 模拟 电信 与 联通 


机 ， 


数据 采集 端 只 有 两 个 Python 文件 ， 一 个 为 config.py， 其 定义 了 数据 库 信息 


集 角 色 


SN2013 


网 络 o 下 面 详细 说 明 。 


[/data/detector/config.py] 


4 -*- coding: 


ut 


# 定 义 MySQL 数 据 信息 


DBNAME- 


# set 


DBUSEF- ' webmoni 
DBPASSWORD-'SKJDH374 
Di 192.168.1.10' 
云 营 商 网 络 代码 (重要 ) 
y 中 定义 I E'4 
# “ct” 代表 电信 探测 上 网 
I DO="G UM 


BHOST-' 
# 修改 成 探测 运 
ttings.p 


'WebMoni! 


# 连 接 的 等 待 时 间 


ECTTI 


FOUT = 


超时 时 
UT = 10 
[EX RE 
TO-"userlQ8domain.com. 


# 告 警 手机 号 
ETO="] 


间 


另 一 个 为 提供 业务 服务 质 
getinfo () 定义 的 定量 获取 HTTP 返 回 结 


=*= 


f-8 


tor' 
tor user' 


5tgDT 


DC-('c 


5 


3Oo****5463" 


S' 


m 


Y 
, 


'cnc': 


user28domain.com" 


质量 采集 功 


能 的 runmonitor.py， 采 用 了 pycur| 模 块 实现 ， 
结果 (response) ， 采 集 的 数据 将 即时 入 库 ， 异 


[/data/detector/runmonitor.py] 


Bri ' 联 通 '， 
络 ， c etd Seno, 移动 网 络 修 避让 <oncc”， 盐 他 类 似 


SN2012-07-010 


'cmcc': 


-08-021 


分 布 式 质量 监控 平台 的 三 种 角色 ， 为 了 便于 读者 理解 ， 下 面 对 不 同 角色 的 环境 、 实 现 方法 进 


表 15-1 


e o e 


SN2012-07-010 


、 运 营 商 网 络 代码 、 


' 移 动 '} 


系统 环境 说 明 表 


远程 业务 服务 集群 HTTP 响 应 数据 ， 并 将 数据 写 入 远程 MySQL 数 据 库 ; 二 为 提供 


连接 超时 时 间 等 ， 


定义 setopt () 方法 定量 参数 ， 模 拟 一 个 HTTP 请 求 器 (request) , 
常 响应 将 触发 告警 ， 关 键 代码 如 下 : 


Curlobj = pycurl.Curl () # 创 建 Curl 对 象 

Curlobj.setopt (Curlobj.URL, url) # 定 义 请 求 的 URL 

# 定 义 setopt 请 求 器 常量 ， 各 参数 详细 说 明 见 2.4 节 

Curlobj.setopt (Curlobj.CONNECTTIMEOUT, CONNECTTIMEOUT) 

Curl obj .Setopt (Curlobj.TIMEOUT, TIMEOUT) 

Curlobj.setopt (Curlobj.NOPROGRESS, 0) 

Curlobj.setopt (Curlobj.FOLLOWLOCATION, 1) 

Curlobj.setopt (Curlobj.MAXREDIRS, 5) 

Curlobj.setopt (Curlobj.OPT FILETIME,. 1) 

Curlobj.setopt (Curlobj.NOPROGRESS, 1) 

bodyfile = open (os.path.dirname (os.path.realpath ( file ) ) +"/ body", "wb") 
Curlobj.setopt (Curlobj.WRITEDATA, bodyfile) 

Curlobj.perform () 

bodyfile.close () 

# 定 义 getinfo 响 应 返回 常量 ， 各 参数 详细 说 明 见 2 . 4 节 

self.NAMELOOKUP TIME-Decimal (str (round (Curlobj.getinfo (Curlobj.NAMELOORUP TIME), 22 ) ) 
Self.CONNECT TIME-Decimal (str (round (Curlobj.getinfo (Curlobj.CONNECT TIME) , 2) ) ) 
self.PRETRANSFER TIME-Decimal (str (round (Curlobj.getinfo (Curlobj.PRETRANSFER TIME) , 2) ) ) 
self.STARTTRANSFER TIME-Decimal (str (round (Curlobj.getinfo (Curlobj.STARTTRANSFER TIME) , 2) 2) 
self.TOTAL TIME = Decimal (str (round (Curlobj.getinfo (Curlobj.TOTAL TIME) , 2) ) 2 
self.HTTP CODE = Curlobj.getinfo (Curlobj.HTTP CODE) 

最 后 ， 配 置 系统 crontab，5 分 钟 作 一 次 数据 采集 ， 内 容 如 下 : 


*/5 * x x * /usr/bin/python /data/detector/runmonitor.py > /dev/null 2>&1 


15.4.3 


rrdtool 作 业 实 现 从 MySQL 导 出 数据 并 更 新 到 rrdtool 中 ， 以 便 为 后 面 的 rrdtool 报 表 功 能 提供 数据 支持 。 具 体 方法 是 通 j 


源码 如 下 : 


def 


rrdtool 作 业 


行 详细 说 明 ， 环 境 设 备 角色 表 如 表 15-1 所 示 。 


环境 说 明 
Django-uwsgi-rrdtool-MySQL 环境 


Python 2.6+rrdtool 


Python 2.6+pycurl 


Python 2.6-pycurl 


异常 HTTP 响 应 告警 支持 。 本 示例 部 署 192.168.1.20、192.168.1.21 主 


内 容 如 下 : 


也 可 以 理解 成 一 个 简单 的 浏览 器 。 再 通过 


过 查询 webmonitor monitordata 表 字段 MARK 为 '0' 的 记录 ， 再 将 数据 通 


rrdtool.updatev () 方法 做 rrdtool 更 新 ， 最 后 更 新 数据 库 标 志 MARK 为 "1 。rrdtool 作 业 部 署 在 任 一 台 安 装 rrdtoo| 模 块 的 主机 上 即 可 ， 本 示例 的 rrdtool 作 业 与 Web Server 部 署 在 同一 台 主 机 上 。 部 分 关键 
[/data/www/Servermonitor/webmonitor/updaterrd.py] 
updateRRD (self, rowobj) : # 更 新 rrd 文 件 方法 
if str (rowobj["HTTP CODE"]) =="200": # 非 HTTP200 状 态 标志 *1” 
unavailablevalue=0 
else: 
unavailablevalue=] 
FID=rowobj ["FID"] 
time rrdpath-RRDPATH-*!' /'*str (self.getURL (FID) ) +'/'+str (FID) +' '+\ 
str (self.rrdfiletype[0]) +'.rrd' HEEZE EAE rrdtool XMa 
download rrdpath=RRDPATH+'/'+str (self.getURL (FID) ) +'/'+str (FID) +'_'+\ 
str (self.rrdfiletype[1]) +'.rrd' 
unavailable rrdpath=RRDPATH+'/'+str (self.getURL (FID) ) +'/'+str (FID) +'_'+\ 
str (self.rrdfiletype[2]) +'.rrd' i 
try: # 将 查询 的 MYSQL 记录 更 新 到 rrd 文 件 
rrdtool.updatev (time rrdpath, '$s: $s: $s: $s: $s: $s' $ (str (rowobj["DATETIME"]) \ 
, Str (rowobj["NAMELOOKUP TIME"]) , str (rowobj["CONNECT TIME"]) , str (rowobj["PRETRANSFER TIME"]) , str (rowobj["STARTTRANSFER TIME"]) , str (rowobj["TOTAL TIME"]) ) ) 


rrdtool.updatev (download rrdpath, '$s: $s' $ (str (rowobj ["DATETIME"]) , \ 
str (rowobj["SPEED DOWNLOAD"]) ) ) 
rrdtool.updatev (unavailable rrdpath, '$s: $s' $ (str (rowobj 
["DATETIME"]) V 加 
，Str (unavailablevalue) ) ) 
self.setMARK (rowobj["ID"] ) # 更 新 数据 库 标 志 
except Exception, e: 
logging.error ('Update rrd error: '*str (e) ) 
def setMARK (self, id): # 更 新 已 标志 记录 方法 
try: 


self.cursor.execute Lu n webmonitor monitordata set \ 
MARK-'1' where ID-'$s'"$ ( id) ) - 
self.conn.commit on 
except Exception. e: 
logging.error ('SetMark datebase error: '*str (e) ) 
def getNewdata (self) : # 获 取 未 标志 的 新 记录 方法 
try: 


self.cursor.execute ("select ID, FID, NAMELOOKUP TIME, CONNECT 
TIME, PRETRANSFER TIME, STARTTRANSPER TIME, TOTAL TIME, HTTP CODE, SPEED DOWNLOAD, DATETIME from webmonitor monitordata where MARK-'0'") 
for row in self.cursor.fetchall O : 
self.updateRRD (row) 
except Exception, e: 
ogging.error ('Get new database error: '+str (e) ) 


同 目录 下 的 config.py 为 rrdtool 作 业 配 置 文件 ， 定 义 了 数据 库 连 接 信息 及 项 目 路 径 等 信息 ， 可 根据 实际 情况 相应 修改 ， 最 后 配置 系统 crontab， 建 议 与 采集 同一 执行 频率 ， 如 每 5 分 钟 ， 内 容 如 下 : 


*/5 * x * * /usr/bin/python /data/www/Servermonitor/webmonitor/updaterrd.py > /dev/null 2»&1 


15.5 ”服务 器 端 功能 设计 


服务 器 端 以 Web 的 形式 作为 服务 平台 ， 以 Django 作 为 开发 框架 ,结合 rrdtool| 模 块 实现 了 业务 添加 (rrdtool create) 、 报 表 绘 图 (rrdtool graph) 等 功能 。 另 外 ， 项 目 改 用 直接 操作 SQL 方式 来 代替 
Django 的 ORM ， 为 熟悉 SQL 的 人 员 提 供 另 一 种 选择 。 下 面 详 细 介绍 项 目 配置 及 功能 实现 方法 。 


15.5.1 ”Django 配置 


作为 一 个 新 Django 项 目 ， 第 一 步 需要 创建 一 个 项 目 ， 操 作 如 下 : 


# cd /data/www 
# django-admin.py startproject Servermonitor 


在 创建 的 omaudit 目 录 中 修改 urls.py， 添 加 App 的 URL 映 射 规则 ， 内 容 如 下 : 


from django.conf.urls.defaults import * 
urlpatterns = patterns ('webmonitor.views', 
(r'^8', 'index'), # 映 射 到 inqex 方 法 ， 实 现 前 端 首页 演 染 
(r'add do/', 'adddo') ， # 映 射 到 agdgo 方 法 ， 实 现 新 增 业 务 提交 服务 器 端 处 理 
(r'add/', 'add') ， # 映 射 到 agd 方 法 ， 实 现 新 增 业 务 页 面 泻 染 
(r'monitorlist/', 'monitorlist') , # 映 射 到 monitorlist 方 法 ， 实 现 前 端 扫 描记 录 列 表 展 示 


修改 项 目 settings.py， 关 键 配置 项 如 下 : 


import os 

BASE DIR = os.path.dirname (os.path.abspath ( file 22) 
SYSTEM NAME E=" A AE UR Bere V1.0" # 定 义 系 统 名 称 
IDC={'ct': ' 电 信 '，'enc' 联通 'cmcc': ' 移 动 '} # 定 义 采 集 IDC 


RRDPATH-BASE D DIRP'/rrd" rrdtool rrd 文 件 存储 路 径 
PNGPATH-BASE DIR+"/site media/rrdtool" #rrdtool 生成 png 存 储 路 径 


# 定 义 webmonitor app 路 径 ， 调 用 graphrrd.sh 用 z*rq 绘 图 相关 参数 
MAINAPPPATH-BASE DIR-*"/webmonitor" 

# 
TIME _ALARM=] # 定 义 ` 业 务 请 求 响应 时 间 统 计 “ 图 表 告 警 线 闵 值 CHRULE) ， 单 位 为 秒 
TIME YMAX-1 # 定 义 \ 业 务 请 求 响应 时 Ha e v 最 大 值 ， 单 位 为 秒 

DOWN APEED YMAX=8388608 tog XV AS 下载 速度 统计 “图 表 Y 轴 最 大 值 ， 单 位 为 字 节 


项 目 包 括 两 个 App， 其 中 ，webmonitor 为 功能 应 用 ，publicclass 用 于 提供 公共 方法 调用 。 以 下 结合 有 具体 功能 对 两 个 App 进 行 介绍 。 


15.5.2 ”业务 增加 功能 


业务 增加 模块 后 台 实 现 了 两 个 功能 点 : 言 息 写 入 MySQL 数 据 库 ， 包 括 业 务 名 称 、 监 控 URL、 告 警 通知 方式 、 探 测 点 及 规则 等 ， 二 为 创建 所 选择 的 探测 点 三 个 图 表 对 应 的 rrdtool 文 件 ， 图 表 包 
括 业 务 请 求 响 应 时 间 统 计 、 业 务 下 载 速度 、 业 务 可 用 性 统计 。 前 端 功能 截图 如 图 15-4 所 示 。 


知己 业务 信息 


& 短信 Oht MSN/Yahoo 


选择 探测 点 : 


探 独 规则 : 


创建 rrd 文 件 功 能 利用 了 rrdtool| 模 块 的 create () 方法 实现 ， 实 现 源 码 如 下 : 


= 创建 rrq 


-create rrd (url) 
Www 


def create rrd (url) : 
URL-url 
domain-GetURLdomain (url) # 调 用 GetURLdomain O 方法 获取 URI 域 名 部 分 
HID-[] 
c 
H 


ur time-str (int (time.time O ) )  # 获 取 当 前 Linux 时 间 惟 ， 作 为 Frdqool .create 方 法 的 start 参 数值 
D-getID (URL) # 调 用 getID() 方法 获取 URL 对 应 的 所 有 采集 点 ID 
me nla HID: # 遍 历 采 集 点 ID 
try 


# 参 数 指定 zrd 文 件 路 径 ， 如 * 项 目 根 目录 /rrd/www.baidu .com/17 time. rrd”; 
# step 指 定 步 长 ， 设 置 为 300 秒 ， 即 每 隔 5 分 钟 收 到 一 个 值 ，start 指 定 第 一 条 记录 的 起 
# 始 时 间 ， 使 用 cur _ time 变量 指定 
rrd time-rrdtool.create (settings.RRDPATH+'/'+str (domain) +'/'+str (id) + \ 
' time.rrd', '--step', '300', '--start', cur time, 
'DS: NAMELOOKUP TIME: GAUGE: 600: 0: U', 厘定 义 数据 5 个 数据 源 CDS) 
'DS: CONNECT TIME: GAUGE: 600: 0: U', #GAUGE 计 量 类 型 ， 收 到 数据 后 
# 直 接 存 入 RRD; 
'DS: PRETRANSFER TIME: GAUGE: 600: 0: U', :$'600' 为 心跳 值 ， 即 两 
# 个 刻度 无 效 时 ， 使 用 
'DS: STARTTRANSFER TIME: GAUGE: 600: 0: U', #UNKNOWN 填 充 ，0: U 


# 输 入 数据 的 界限 
'DS: TOTAL TIME: GAUGE: 600: 0: U', 
'RRA: AVERAGE: 0.5: 1: 600', # 定 义 数据 存放 格式 CRRA) ， 分 别 为 平均 、 
# 最 大 、 最 小 合并 数据 
'RRA: AVERAGE: 0.5: 6: 700', # 方 式 ， 其 他 参数 说 明 可 参考 3.2 节 案例 


# 源 码 说 明 
RRA: AVERAGE: 0.5: 24: 775', 
RRA: AVERAGE: 0.5: 288: 797', 


'RRA: MAX: 0.5: 1: 600', 
'RRA: MAX: 0.5: 6: 700', 
'RRA: MAX: 0.5: 24: 775', 
'RRA: MAX: 0.5: 444: 797', 
'RRA: MIN: 0.5: 1: 600', 
'RRA: MIN: 0.5: 6: 700', 
'RRA: MIN: 0.5: 24: 775', 
'RRA: MIN: 0.5: 444: 797') 
if rrd time: 


logging.error (rrdtool.error () ) 
(其 他 两 张 图 表 rrdtool .create 方 法 类 似 ， 此 处 省 略 ) 
except Exception, e: 
logging.error ('create rrd error! '*str (e) ) 


针对 “www.baidu.com” 业 务 增加 成 功 后 ,执行 “#l| rrd/www.baidu.com" ， 输 出 已 生成 的 rrd 文 件 清单 ， 见 图 15-5。 前 缀 “17_ . 18 ”代表 不 同 运 曹 商 探测 点 ID。 对 采集 端 而 言 ， 一 个 运 曹 商 被 视 
为 一 个 独立 业务 ， 产 生 的 数据 也 是 独立 的 。 比 如 ， 在 增加 业务 时 选择 了 电信 、 联 通 两 个 运 莒 商 探测 点 ， 对 该 业务 做 数据 采集 时 ， 将 产生 两 份 数据 。 


total 984 

-rw-rw-rw- 1 root root 71800 lun 28 16:38 17 download.rrd 
rw-rw-rw- 1 c root 357280 Jun. 16:308 1/ time.rrd 
-rw-rw-rw- 1 tr /1800 Jun 25 16:38 1/ unavailable.rrà 


-rwW-rw-rw- 1 root root  /1880 lun 28 16:38 18 download.rrd 
-rwW-rw-rw- 1 root i . Jo2280 Jun 28 16:30 18 time.rrd 
-rwW-rw-rw- 1 t root 7/1800 Jun 16:38 18 unavailable.rraà 


图 15-5 “生成 不 同 运 营 商 的 frd 数 据 文件 


15.5.3 ”业务 报表 功能 


分 布 式 质量 监控 平台 提供 了 非常 丰富 的 报表 功能 ， 常 规 报表 包括 最 近 3 小 时 、 当 天 、 当 前 月 、 当 前 年 ; 自 定义 报表 根据 选择 的 时 间 范 围 定制 。 在 页 面 中 提交 前 保持 起 始 时 间 与 结束 时 间 为 空 则 为 常规 报 
表 ， 最 新 3 小 时 报表 具体 见 图 15-6。 


AHA: |myREISUBIB) ITI" 


mROREdUI - ma AE AA] 
业务 请 求 响 应 时 间 统 计 - 京 东 首 页 


15:40 16:00 1520 15:40 17:00 17:20 17:40 


当前 :了 569.25 ms 
338p 0.07 ms 

当前 :51.20 ms 
当前 :51.20 ms 
当前 :92.23 ms 


IH: Ait ms 最 去 :23323.16 ms 
3EMEB 78 ms 最 太 :3072 ms 
平均 53.54ms 最 太 71.68 ms 
平均 53.83 ms mXB172ms 
平均 ]100.65 ms — mex 122.88 ms 


最 小 :3658B.78 ms 
ilc 0.00 ms 
局 小 51 20 ms 
Ex5120ms 
m.c92.16 ms 


E ES 2014-06-28 18:23 


dH: | | 结束 时 间 ; | | 


Pk IDE: Hl 


ILS TREIBER BS DH 


16:00 17:00 1800 


ETARE Eia S5lkbyte mx 975kbyte 最 :| 158kbyte 


业务 可 用 性 统计 -京东 首页 


16:00 17:00 


DRAA ”平均 :LL00 —dmX000 最 小 000 


| ARAN- m MESSIS [日 ] 


图 15-6 ”输出 业务 “当前 (最 新 3 小 时 ) ” 报 


自 定义 报表 根据 选择 的 时 间 范 围 进行 rrdtool 查 询 ， 结 果 如 图 15-7 所 示 。 


选择 业务 : | muEBDSUBIED Y] 


| 


业务 请 求 响应 时 间 统 计 -京东 首页 


"n 


13:00 14:00 1500 15:00 17:00 


当前 :369.25 ms 
338r 0.07 ms 
当前 :51.20 ms 


当前 :51.20 ms 
当前 :92.23 ms 


平均 :523.93 ms A457728 ms 
3ED8.74ms  Em3072ms 
平均 52.08 ms 最 大 8090mms 
平均 :52.24ms 最 太 :B1.72Tms 
平均 98.36ms 最 太 122.88 ms 


最 小 -232 mz 

g&:j-0.00 ms 

最 小 -0.34 ms 

最 "0.34 ms 
m061ms 


Rer Ea 2014-06-28 18:22 


图 15-7 输出 自 定义 时 间 报 表 


两 种 报表 实现 原理 是 通过 定制 graph 方 法 的 “--start” 参 数 来 实现 ， 如 常规 报表 中 当前 、 
用 提交 的 起 始 时 间 与 结束 时 间 来 对 应 “--start” 与 “--end” 参 数 。 
rrdtool 命 令 行 方 案 ， 在 Django 中 视图 中 通过 os.system () 方法 来 调用 ， 实 现 关键 代码 如 下 : 


日 、 月 、 年 图 表 对 应 分 别 为 


[/data/www/Servermonitor/webmonitor/graphrrd.sh] 


d! /bin/sh 


rrdfile-$1 # 接 收 rrdtool 文 件 路 径 
pngfile-$2 # 接 收 生成 png 图 片 路 径 

rrdtype-$3 # 接 收 zrq 类 别 ， 区 分 定义 的 三 种 图 表 
appname-$4 # 接 收 业 务 名 称 

GraphStart-$5 # 接 收 rrdtool 起 始 时 间 
GraphEnd-$6 # 接 收 rrdtool 结 束 时 间 

ymax=$7 # 接 收 Y 轴 最 大 值 

Alarm=$8 # 接 收 告警 红线 值 

# 定 义 两 种 字体 


rrdtool font msyhbd-"/data/www/Servermonitor/site media/font/msyhbd.ttf" 
rrdtool font msyh-"/data/www/Servermonitor/site media/font/msyh.ttf" 

if [ "$rrdtype" — "time" ]; then 

pum /rrdtool/bin/rrdtool graph ${pngfile} -w 500 -h 207 N 

-n TITLE: 9: $(rrdtool font msyhbd) \ # 定 义 标 题字 体 


表 


起 始 时 间 : 捕 束 时 间 : 2014-06-28 18:22:16, 


业务 下 载 速度 统计 -京东 首页 


14:00 1:00 18:00 


国 下 载 速 讶 ”平均 B02kbyte MA: lUzlkbyte mE]: — 5kbyte 


业务 可 用 性 境 计 -京东 首页 


140p 16:00 


日 服 备 趟 可 用 最小 0.00 


平均 :0.0B3 ”最 太 0.39 


"-3h, -1day, -1month, -1year" ， 参 数 “--end” 为 当前 时 间 ; 自 定义 报表 采 


平台 rrdtool graph 生 成 图 表 时 要 求 有 中 文 支持 ， 但 Python 的 rrdtool 模 块 没有 封装 “--font” 参 数 ， 为 了 解决 此 问题 ， 最 终 采 用 原生 


-n UNIT: 8: $(rrdtool font msyh) \ # 和 定义 Y 轴 单位 字体 
-n LEGEND: 8: $(rrdtool font msyh) \ # 定 义 图 例 字体 
AX 


-n IS: 8: $(rrdtool font msyh) \ # 定 义 坐 标 轴 字 体 
-c SHADEA4808080 \ # 左 上 边框 颜色 
-c SHADEB#808080 N # 右 上 边框 颜色 


S 

S 

-c FRAME4006600 \ # 数 据 标记 说 明 边 框 颜色 

-c ARROW#FF0000 * Pod Y 轴 箭头 颜色 

-c AXIS4000000 \ Y 轴 线 颜色 

-c FONT4000000 \ E AIR 

-c CANVAS#eeffff N I 

-c BACK#ffffff \ # 图 形 背景 〈 不 含 数据 区 域 ) 颜色 

--title "业务 请 求 响应 时 间 统 计 - enne -v "速度 〈 秒 ) " N # 图 表 标 题 

--start $(GraphStart) \ # 图 表 起 始 时 间 

--end $(GraphEnd) \ # 图 表 结 束 时 间 

--lower-limit-0 \ SUR v 轴 的 下 限 

--base-1024 N # 修 改 1k 对 应 的 刻度 ， 默 认为 1000 

-u ${ymax} -r \ # 定 义 Y 轴 最 大 值 

: NAMELOOKUP TIME-$[rrdfile): NAMELOOKUP TIME: AVERAGE V pol e cM 
T7 z 类 型 为 AVERAGE 


io 


E 


J 
Er] 
mj 


DEF: CONNECT TIME=${rrdfile}: CONNECT TIME: AVERAGE \ 

DEF: PRETRANSFER TIME-S(rrdfile]: PRE TRANSF ER TIME: AVERAGE \ 
DEF: STARTTRANSFER TIME-$ (rrdfile): STARTTRANSFER TIME: AVERAGE \ 
DEF: TOTAL TIME-$(rrdfile): TOTAL TIME: AVERAGE \ 
C 
A 


OMMENT: " An" \ 
REA: TOTAL TIME4OO11ff: 总 共 时 间 \  # 用 ` 方 块 “ 的 形式 来 绘制 \ 总 共 时 间 “ 数 据 
#GPRINT 定 义 图 表 下 方 的 文字 说 明 ， 参 数 TOTAL _ TIME 定义 数据 来 源 变量 ，LAST 定 义 合并 《〈 统 计 ) 类 型 ， 


DU LUE 
Š 出 文字 及 数值 格式 
Ee TOTAL T LAST: "当前 \: $0.21f $Ss" \ 
RINT: TOTAL T m AVERAGE: "平均 \: $0.21f $Ss" \ 
GPRINT: TOTAL TIME: MAX: "最 大 \: $0.21f $Ss" \ 
RINT: TOTAL TIME: MIN: "最 小 \: $0.21f $S8s" \ 
COMMENT: " Mn" N 


+ 
并 
[rx 
k 
TN 
S 
Y 
i 
=> 


LINE1: NAMELOOKUP TIME£eeee00: 域名 解析 - "I oec EA E A 
GPRINT: NAMELOOKUP TIME: LAST: "当前 \: $0.21f $55" 

GPRINT: NAMELOOKUP TIME: AVERAGE: "平均 \: 21f T \ 

GPRINT: NAMELOOKUP TIME: MAX: "最 大 \: $0.21f $Ss" \ 

GPRINT: NAMELOOKUP TIME: MIN: "最 小 \: $0.21f $Ss" \ 


COMMENT: " Mn" N 
(“连接 时 间 ”、*“ 开 始 传输 ”、*“ 第 一 字 节 “定义 与 "域名 解析 ”“， 此 处 省 略 ) 
HRULE: $(Alarm)4ff0000: "(告警 值 ) " \ # 输 出 告警 红线 值 
COMMENT: " Mn" N 
COMMENT: " An" N 
COMMENT: "\t\t\t\t\t\t\t\t\t\t 最 后 更 新 \ $ Cdate '42Y-$m-2d %H\: %M') Wn" 
(其 他 两 张 图 表 rrdtool graph 参 数 类 似 ， 此 处 省 略 ) 


生成 的 图 表 png 文 件 在 前 端 页 面 中 进行 引用 : 


# 下 面 为 泻 染 后 的 HTML 标 签 


«img src-"/site media/rrdtool/www.baidu.com/15 time.png? , Math.random () ; " width="597" /> 


第 16 章 ”构建 梨 面 版 C/S 上 自动 化 运 维 平 台 


OManager 与 OMserver 平 台 实 现 了 相同 的 功能 ， 最 大 的 区 别 是 COManager 是 基于 C/S 结 构 (桌面 版 本 ) 的 ，OMServer 是 B/S 结构 (Web 版 本 ) 的 。C/S 结 构 相 对 于 B/S 结 构 ， 具 有 交互 性 更 强 、 存 取 模 
式 更 加 安全 、 网 络 通信 量 低 、 响应 速度 更 快 、 利 于 处 理 大量 数 据 、 可 调用 操作 系统 APl 等 特点 。 当 然 ， 它 也 有 局 限 性 ， 比 如 要 求 相对 统一 的 硬件 、 操 作 系 统 (版 本 、 类 型 ) 等 ， 由 于 在 公司 内 部 局 域 网 使 用 且 
使 用 人 群 比较 固定 ， 这 些 条 件 基本 都 可 以 满足 。OManager 是 基于 Python 的 wxpython GUI (图 形 用 户 界面 ) 开发 ， 具 备 跨 平台 的 能 力 ， 比 如 在 Linux 桌 面 环 境 ， 源 码 无 须 做 任何 改动 即 可 直接 兼容 ， 平 台 
支持 的 系统 有 Windows XP, Windows 2000 或 Windows 2003, Windows 7 等 ; 支持 Linux 2.6 或 以 上 内 核 ， 如 Redhat、Ubuntu 等 发 行 版 。 下 面 对 平台 进行 全 面 介绍 


16.1 平台 功能 介绍 


与 OMserver 一 样 ，OManager 同 样 实现 了 一 个 集中 式 的 Linux 集 群 管理 基础 平台 ， 支 持 模块 扩展 功能 ， 管 理 员 可 以 在 OManager 平 台 添 加 集群 任务 模块 ， 其 中 客户 端 模块 采用 XRC (XML Resource) 
方式 动态 定制 ， 服 务 器 端 则 与 OM server 共 享 一 套 主 控 服 务 器 端 。OManager 实 现 日 常 运 维 远程 操作 、 文 件 分 发 、 在 线 升 级 等 功能 ; 安全 方面 ， 采 用 加 密 (RC4 算 法 ) 指令 传输 、 操 作 日 志 记录 、 个 性 化 配 

等 ; 效率 方面 ， 管 理 员 只 需 选 择 操作 目标 对 象 及 操作 模块 即 可 完成 一 个 现 网 变更 任务 。 另 外 在 用 户 体验 方面 ， 模 拟 Linux 终 端 效果 ， 接 收 返 回 串 ， 并 使 用 Psyco 模 块 对 Python 运行 程序 进行 加 速 。 任 何人 都 
el 展 ， 现 已 支持 XML 与 现 有 资产 平台 进行 对 接 。 平 台 登 录 、 管 理 界面 见 图 16-1 和 图 16-2。 


图 16-1 平台 登录 页 面 


E OManagz iR SSERESE v2014 
EZ MENE) 1860) ENH) 


有 -GO 上 caeco! 


SAS) 


- d - zi r - — —Ó 时 站 
下 eem] 
[SE a 
ET 


E] www.domain.com 


m OManager 服 务 器 管理 平台 2014 


L HERSE 
, 功能 服务 种 
pnt Ea] 


e014a-ü0T1-U6 10:25:08 


c 5.4 l|Final! 


c B.4 lFinal! 


rr: 刘 天 斯 


2014-07-D6 10:26:40 


图 16-2 平台 主 界 面 


16.2 系统 构架 设计 


OManager 平 台 采 用 了 两 层 设计 模式 。 


第 一 层 为 客户 端 交互 层 ， 采 用 了 wxpython+xrc+rpyc+MySQL 等 技术 ， 实 现 了 客户 端 与 主 控 服 务 器 端 直 连 通信 ， 


rpyc 分 布 式 计算 框架 负责 传输 与 计算 ， 传 输 采 用 加 密 (RC4 算 法 ) 方式 ， 保 证 平台 整体 


安全 性 ; 


第 二 层 为 集群 主 控 端 服务 层 ， 支 持 Saltstack、Ansible、Func 等 平台 ， 且 具备 多 机 服务 的 能 力 。 系 统 架 构图 见 图 16-3。 


| 

| 

| 

l 

| 

l 

| 

— > | 
xis m) - | 

| 

| 

- | 

Saltstack | | 

4 rmrediriii-———-» [&€——— Ansible ——» | | 
| Func t | 

| 业务 服务 如 集群 | 

| | 

| | 

| rpyc:11511 第 二 层 i 


图 16-3 ”系统 架构 图 


从 图 16-3 中 可 以 看 出 系统 两 个 层次 的 结构 ， 首 先 管理 员 在 办 公 电 脑 安装 OManager 客 户 端 软件 包 ， 作 为 rpyc 客 户 端 向 rpyc 服 务 器 发 送 加 密 指令 串 ， 指 令 捉 通过 “RC4+b64encode+ 密 钥 key” 进 行 加 
密 ，rpyc 服 务 器 端 同时 也 是 Saltstack、Ansible、Func 等 的 主 控 端 ， 主 控 端 将 接收 的 数据 通过 “RC4+b64decode+ 密 钥 key” 进 行 解密 ， 解 析 成 OManager 调 用 的 任务 模块 ， 结 合 Saltstack、Ansible 或 
Func 向 目标 业务 服务 器 集群 发 送 执行 任务 ， 执 行 完毕 后 ， 对 返回 的 执行 结果 做 加 密 / 解 密 处 理 ， 最 后 返回 给 客户 端 ， 整 个 任务 模块 分 发 执行 流程 结束 。 


16.3 数据库 结构 设计 


16.3.1. 数据库 分 析 
OManager 平 台 采 用 了 开源 数据 库 MySQL 以 存储 数据 ， 数 据 库 名 为 DOManager， 数 据 库 总 共有 3 张 表 ， 表 信息 说 明 如 下 。 
- upgrade: 系统 升级 表 ; 
users: 用 户 表 ; 


: uset logs: 操作 日 志 表 。 


16.3.2 ”数据 字典 


1) upgrade 系 统 升级 表 。 


TE 
[ a» | | xw | — 


- E3 wie t -4- Ld 
version Tz d hh 本 ES 


2) user logs 操 作 日 志 表 。 


CT T 


3) users 用 户 表 。 


Jaz | anza T 


16.3.3 ”数据 库 模型 


考虑 到 平台 的 通用 性 ，OManager 的 数据 库 结构 设计 得 非常 简单 ， 只 涉及 账号 及 操作 日 志 等 基础 表 ， 平 台中 服务 器 分 类 及 清单 来 源 于 企业 资产 库 生 成 的 XML 文件 。 数 据 库 中 users 表 存储 了 管理 员 的 账 


号 信息 ; user logs 表 存储 了 管理 员 的 操作 日 志 ， 表 中 字段 “user” 配置 外 键 ， 与 users 表 中 的 “admin” 字段 进行 关联 ，upgrade 表 存储 OManager 的 版 本 号 ， 系 统 数据 库 模型 见 图 16-4。 


m 


? id INT(5) 
** user CHAR(10) 


? admin CHAR(20) 
9 passwd CHAR(32) 
9 Privatekey CHAR(32) -4 — — — — — — — —4 © event CHAR(255) 


| O version CHAR(5) 


? privileges CHAR(62) mm Pu Dua TENES EP 


| Y 


PRIMARY 


Datatime 
USER_NID 


图 16-4 系统 数据 库 模 型 


16.44 系统 环境 部 署 


16.4.1 系统 环境 说 明 
OManager 由 wxPython2.8、rpyc-3.2.3、psyco-1.6 等 开源 组 件 构建 。 为 了 便于 读者 理解 ， 下 面 对 平 台 的 运行 环境 、 安 装 部 署 、 开 发 环境 优化 等 进行 详细 说 明 ， 环 境 设备 角色 表 如 表 16-1 所 示 。 


表 16-1 系统 环境 说 明 表 


LI 机 名 | — IP | 环境 说 明 
主 控 端 SN2013-08-020 192.168.1.20 Saltstack | Ansible | Func 主 控 端 、rpye IRA Aim 
OManager DELL-PC 192.168.1.101 wxPython, rpyc 客户 证 


16.4.2 系统 环境 搭建 


OManager 平 台 基 于 多 种 Python 第 三 方 模块 实现 ， 包 括 wxpython、rpyc、MySQL-python、psyco、pywin32 等 ， 这 些 开源 组 件 无 论 是 在 开发 效率 还 是 运行 速度 方面 都 赢得 了 很 好 的 口碑 ， 尤 其 容易 
上 手 ， 可 以 做 到 快速 开发 、 快 速 实现 。wxPython 官 网 提供 了 非常 丰富 的 demo 代 码 ， 可 以 帮助 开发 人 员 做 到 边 学 边 用 ， 下 面 介绍 平台 所 需 模块 及 功能 说 明 。 


- MySQL-python-1.2.4b4.win32-py2.7.exe: Python 访问 MySQL 的 API 模 块 。 
.psyco-1.6.win32-py25.exe: Python 程序 提速 模块 。 

* pyinstaller-2.0.zip: Python 程序 打包 工具 ， 安 装 包 制作 推荐 使 用 Smatt Install Maker. 
: pywin32-218.win32-py2.7.exe: Windows 系 统 API 访 问 库 。 

. tpyc-3.2.3.win32.exe: 分 布 式 计算 框架 。 

: wxPython2.8-win32-docs-demos-2.8.12.1.exe: wxPython Demo (可 选项 ) 。 

: wxPython2.8-win32-unicode-2.8.12.1-py27.exe: Python GUI 图 形 库 。 


平台 重点 文件 及 目录 说 明 见 图 16-5。 


d data 平台 数据 目录 ， 存 就 醒 置 文件 、 服 务 器 信息 3HL 文 件 等 
di img 平台 图 标 目录 

di include Fython 头 文件 存放 目录 ， 编 译 环境 用 到 

di Module 平台 功能 模块 . YRC 存 放 目 录 


di numbers 平台 帐号 密 钥 存放 目录 

J tmp 平台 临时 目录 ， 存 放 升 级 包 描述 XI 文件 
€? MDSsum.exe — vnu HIA 

""|OManagerexe “平台 入 口 可 执行 文件 


图 16-5 系统 目录 结构 及 说 明 


16.5 “系统 功能 模块 设计 


16.5.1 APERIRA 


OManager 平 台 的 登录 采用 了 双重 安全 校 验 机 制 : 一 种 为 传统 的 用 户 名 与 密码 匹配 ， 另 一 种 为 密 钥 文件 校 验方 式 ， 实 现 的 原理 是 在 密 钥 文件 中 输入 任意 随机 字符 串 ， 通 过 平台 自 带 的 md5sum.exe 工 具 
计算 出 该 文件 的 md5， 将 生成 的 md5 字 符 串 更 新 到 users (HPR) 管理 员 账 号 对 应 的 Privatekey 字 段 ， 以 root 用 户 的 密 铀 numbers/root.pem 为 例 ， 使 用 方法 见 图 16-6 和 图 16-7。 


D : python (Manager sOManager?HDSuzum.exs numbers/root . pen 
115B882516d0a786142681'6/2 4BR bF Taf | numbers root .hem 


图 16-6 ”查看 密 钥 文件 md5 


admin 管理 员 帐 号 passwd 管理 员 密 码 Privatekey i.:HMD5 privileges 权限 角色 
root &llladc3949babBabbebBeUb5TE2ÜFS83e | 81 15082536da7T853428501Te(024Sbf 3a8|| root 


图 16-7 数据 库存 储 的 密 钥 文件 md5 数 据 


管理 员 登 录 时 首先 获得 选择 密 钥 文件 的 md5， 青 与 数据 库 中 的 Privatekey 字 段 进行 匹配 ， 建 议 由 超级 管理 员 提 前 开设 好 所 有 用 户 的 账号 信息 ， 包 括 用 户 名 、 密 码 及 密 钥 。 再 统一 将 密 钥 文 件 以 人 为 单位 
进行 发 放 。 验 证 的 实现 方法 源码 如 下 : 


def Check (self, name, password, Privatekey) : 


import md5 

m = md5.new (password) # 使 用 mdq5 模 块 计 算 密码 的 mdq5 串 

md5pass-m.hexdigest () 

myrow-DBclass () # 创 建 数据 库 连 接 对 象 〈 自 定义 类 ) 

Sql = "select admin, privileges from users where admin-'$s' and 
passwd-'$s' N 

and Privatekey-'$s'"$ (name, md5pass, Privatekey) # 参 照 MySQL 中 的 用 户 名 、 


# 密 码 、 密 钥 进 行 校 验 


result = myrow.fetchallq (sql) 
return result # 返 回 结果 集 


下 面 是 计算 密 钥 文件 md5 的 实现 方法 ， 主 要 用 到 了 hashlib 模 块 : 


# 计 算 文 件 md5 值 ， 参 数 fileName 为 实体 文件 路 径 ， 参 数 excludeLine 为 排除 的 文本 行 ; 
# 参 数 ijncludeLine 为 额外 包含 的 行 
def md5 (fileName, excludeLine="", jncludeLine="") : 

m = hashlib.md5 () # 使 用 hashlib 模 块 生 成 一 个 md5 hash 对 象 

try: 


fd = open (fileName, "rb") # 打 开 密 钥 文 件 

except IOError: 
print "Unable to open the file in readmode: ", filename 
return 


eachLine - fd.readline () 

while eachLine: # 遍 历 密 钥 文件 

if excludeLine and eachLine.startswith (excludeLine) : # 排 除 指定 的 行 
continue 
m.update (eachLine) # 用 update 方 法 对 行 字 符 串 进行 mq5 加 密 且 不 断 做 更 新 处 理 
eachLine = fd.readline () 

m.update CincludeLine) # 对 额外 包含 的 行 做 更 新 和 加 密 处 理 

fd.close () 

return m.hexdigest () # 返 回 十 六 进 制 结果 


调用 计算 文件 密 钥 md5 方 法 : 


md5 (self.Privatekey.GetValue () ) #self.Privatekey.GetValue O 为 用 户 选 择 的 密 钥 文件 路 径 


16.5.2 ”系统 配置 功能 


OManager 平 台 将 常用 的 参数 配置 化 ， 包 括 连 接 数 据 库 、 主 控 端 、 传 输 密 钥 等 信息 ， 当 外 部 环境 发 生变 化 时 无 须 做 代码 变更 ， 简 单 更 新 配置 即 可 ， 提 高 了 平台 的 易 用 性 ， 降 低 使 用 门槛 ， 具 体 是 通过 
ConfigParser 模 块 操作 ini 文 件 实现 ， 效 果 见 图 16-8。 


欢迎 窗口 | 系统 配置 | 4 bx 
Fas 
系统 宽度 : 1024 | 
ESAE: 765 
RSR : 192.168.1.20 
hiksa: — 11511 
ERER (s): 10 
oieta: 10 
EEEH : ctmj#&amp:8hrgow_"sj$ejt@9%zsmh_o)-=(byt5jmg=e3#foya6u 
THRURL : http:;//update.domain.com/upgrade 


数据 库 IP : 192.168.1.10 
数据 库 用 户 : servmanageruser 
数据 库 密 码 : — 123456&abc 
数据 库 名 : OManager 


j 


O HSRECER 


图 16-8 ”系统 配置 功能 
手工 修改 ini 文 件 与 界面 操作 达到 的 效果 是 一 样 的 ， 平 台 ini 文 件 格式 如 下 : 


[data/config.ini] 


[system] 
height = 765 
width = 1024 


version = v2014 
upversion = 10026 
ip = 192.168.1.20 
port = 11511 
timeout = 10 

max servers = 10 

secret key = ctmjf&amp; 8hrgow ^sj$ejt89fzsmh o) -= (byt5jmg=e3#foya6u 
upgrade url = http: //update.domain.com/upgrade 

[db] 

do ip = 192.168.1.10 

db user = servmanageruser 

do pass = 123456#abc 

do name = OManager 


使 用 ConfigParser 模 块 操作 in 配置 文件 非常 方便 ， 通 过 get () . set () 方法 来 读 取 与 更 新 配置 文件 。 读 配置 源码 如 下 : 


self.cf = ConfigParser.ConfigParser () # 创 建 ConfigParser 对 象 
self.cf.read (sys.path[0]+'/data/config.ini', encoding-'utf8') # 读 取 配 置 文件 
# 读 取 \system” 节 中 所 有 键 值 到 指定 的 变量 

self.cf = ConfigParser.ConfigParser () 

self.cf.read (sys.path[0]+'/data/config.ini') 

self. syswidth- self.cf.get ("system", "Width") 

self. sysheight- self.cf.get ("system", "Height") 

self. timeout-self.cf.get ("system", "Timeout") 

self. ip-self.cf.get ("system", "IP") 

self. porteself.cf.get ("system", "Port") 

self. max servers-self.cf.get ("system", "max servers") 

self. secret key-self.cf.get ("system", "secret key") 

self. sysversion- self.cf.get ("system", "Version") 

self. sysUpversion- self.cf.get ("system", "Upversion") 

self. upgrade url- self.cf.get ("system", "upgrade url") 

# 读 取 “db” 节 中 所 有 键 值 到 指定 的 变量 

self. db ip= self.cf.get ("db", "db ip") 

self. db user- self.cf.get ("db", "db user") 

self. db pass- self.cf.get ("db", "db pass") 

self. db name- self.cf.get ("db", "db name") 


更 新 配置 也 非常 简单 ， 将 get () 方法 更 换 成 set () ， 再 指定 ini 的 节 、 键 、 值 三 个 元 素 即 可 。 下 面 是 更 新 数据 库 IP 参 数 的 代码 ， 其 中 self.DB_ip.GetValue () 为 输入 框 的 内 容 。 


self.cf.set ("db", "db ip", self.DB ip.GetValue () ) 


16.5.3. ”服务 器 分 类 模块 


为 了 让 OManager 更 具 通 用 性 ， 平 台 的 服务 器 信息 依赖 企业 现 有 资产 库 数 据 ， 通 过 平台 规 学 好 的 格式 生成 XML 文件 ， 结 合 Tree 与 ListBox 控 件 实现 功能 分 类 与 服务 器 联动 ， 效 果 见 图 16-9。 


pE EE VE ELSE DES E Pd FUE ERE qTURPUEUEDKWan EU E s 


Ex Sues 


EE 应 用 眼 务 器 
SE www.domain.co 
cde 数据 地 服务 器 
[El bbs.domain.com 
| HWER 
DARRAS 
iE 


For nare information on configuration, zee: 


nzinx; 


o ARER Es 
| ARa 


error log svar log/ngira error. log; 


#error_log 7 / / notice; 
和 和 二 
BR ERE 
718.31.20.20 
218.31.20.21 
21631,2022 


Werror lor "^ info, 


图 16-9 ”服务 器 分 类 选择 
服务 器 分 类 的 组 织 形 式 与 DOMserver 保 持 一 致 ， 即 功能 分 类 一 业务 分 类 一 服务 器 。 图 16-10 为 服务 器 类 别 的 XML 数据 文件 ， 用 来 描述 服务 器 类 别 信 息 。 


[data/ServerOptioninfo.xml] 


eUId-UT-lT 22:41: U5-4-FET--HHHPETHHETHHT-HEPRE]H]TEHHEHPSHHTERÓES PHÓÍPÓ|HREE: 


* Üfficial English Documentation: http://nginx. arg/en/dacz/ 


x Üfficial Russian Documentation: http://nginx.org/ru/docz/ 


«?xml version- "1.0" encoding- "UTF-B"?» 
- «wmil-» 
- eAppcClass id="1"> 
zappname- 应 用 | 
</AppClass> 
- «AppClass id-z"2"» 
<appname> giHB FE IR} 3$ - /appname- 
«/AppcClass» 
- «AppcClass id-"3"» 
zappname- Hi BE 
z/AppClass- 
十 «AppcClass id="4"> 
+ «AppClass idz"5"» 
+ cAppclass id="6"> 
- «Appclass id="7"> 
zappname- MHRS a —- /appname- 
z/AppClass- 
十 «AppClass id="8"> 
+ «AppClass idz^9"» 
+ «AppClass Id= 10 > 
+ <AppClass :d= 11 > 
+ «AppClass Id= 12 > 
- <AppClass id-"13"» 
<appname> 游戏 服务 看 </appname> 
«/Appclass- 
€ lwmlz 


R35: -/appname- 


3528 -/appname- 


图 16-10 ”服务 器 分 类 的 XML 文件 


其 中 ，“<AppClass id= "1"> ”标签 id 属 性 值 为 功能 分 类 ID 号 ，“<appname> 应 用 服务 器 </appname>” 使 用 <appname> 子 元 素描 述 功能 分 类 名 称 。 服 务 器 信息 的 XML 数据 文件 用 来 描述 服务 器 
的 详细 属性 ， 详 细 内 容 见 图 16-11， 属 性 与 子 元 素 说 明 见 表 16-2。 


[data/Serverinfo.xml] (部 分 内 容 ) 


- «wmi- 
- «server ip-"^192.168.1.20"- 
«serverserial» 5N2013-08-020 -/serverserial- 
ZWwIip-218.31.20.20 -/wip- 
zlip»192.168.1.20 - /lip- 
zos»Linux-c/os- 
zapp»www.domain.com -/app- 
zlocate-05-02-10 - /locate- 
ption21«/option- 
—c/server- 
- «server Ip= 192.168.1.21 > 
zserverserial2 5N2013-08-021 -/serverserial- 
cWIp2218.31.20.21 -/wip- 
zlip»192.168.1.21 -/lip- 
zos»Linux«/os- 
capp»www.domain.com - /app- 
zlocate»05-05-01 -/locate- 
«option 1 «c/option- 
c/server- 


图 16-11 服务 器 信息 的 XML 文件 
表 16-2 属性 与 子 元 素 说 明 


属性 与 子 元 于 会 X 
ip IP 地 址 (唯一 标识 )， 内 外 网 下 均 可 
serverserial 主机 名 
Wip 外 网 TP 地 址 
lip 内 网 TP E |: 
os TRTE Z8 SE2SR 
app MHA EK 一 般 为 应 用 域名 
locate Hi 55 an Hr BLA DB 
option 功能 分 类 ID， 与 服务 需 功 能 分 类 的 XML 文件 中 AppClass 标签 的 id 属性 关联 


每 个 管理 员 所 负责 的 服务 器 资源 通常 都 不 一 样 ， 一 般 以 服务 器 功能 分 类 的 维度 划分 。OManager 可 为 这 种 权限 要 求 提供 支持 ， 实 现 的 思路 是 在 users 表 的 privileges (权限 角色 ) 字段 定义 服务 器 分 类 
ID， 其 中 “root” 为 特殊 权限 ， 代 表 超级 管理 员 ， 所 有 服务 器 资源 都 可 见 。 账 号 “demo” 的 权限 配置 ， 以 及 在 平台 中 展示 的 效果 见 图 16-12。 


16.5.4 


admin 
demo 


root 


TE www.domain.com 


oB Eug B 


L-E] 


bbs.domain.com 


当 窗 体 (wx.Frame) 初始 化 时 ， 


UserPrivileges[0]--"root": 


continue 


serverapp-[] 
ass child in class doc: 


for c 


dE 


if 


servercl 
ServerList Kl 
serverclass-[] 


# 返 回 结果 串 格式 : [[' 


return ServerList KEY 


i E; 


try: 


serverapp.index (class child[ 


except: 


EA 2SIDRHULBU, Ji 
通过 indqex O 方法 产生 的 异常 判 
class child[6] 


for root child in root doc: 
if not root child.get ('id') 


# 没 有 权限 的 服务 器 类 别 将 被 忽略 
serverclass.append (root child[0].text.encode ('gbk') ) 


BRNS passwd BEREH 
ellüadc393dJ9babSabbeb65elbTf2Ufs553e!|!dceddcads518e75a3ebcc839db 


PEIRE S8 2E A 


三 


.tex 


# 志 历 服务 器 信息 
追加 <app> 到 serverapp 

a 
t—root child.get (' : 


id') 


节点 


Privatekey 有 MIS 


图 16-12 用户 权限 配置 及 展示 效果 


“服务 器 类 别 ” 控 件 会 自动 加 载 数据 ， 实 现 的 方法 是 通 


in UserPrivileges and not 


拥有 的 服务 器 类 别 ID。 “应 用 名 称 ” 则 通过 服务 器 信息 的 “<option>” 元 素 与 服务 器 类 别 1D 进 行 匹 配 ， 实 现 源码 如 下 : 
import xml.etree.ElementTree as ET 
import os 
import sys 
root tree = ET.parse (sys.path[0]-*'/data/ServerOptioninfo.xml'O) # 打 开 服 务 器 类 别 XML 文档 
class tree = ET.parse (sys.path[0]-*'/data/Serverinfo.xml') # 打 开 服务 器 信息 XML 文 档 
root doc = root tree.getroot () # 获 得 服务 器 类 别 XML 文 档 *oot 节 点 
class doc = class tree.getroot O  # 获 得 服务 器 信息 XML 文档 Foot 节点 
class ServerClassList O : 
def Resurn list (self, UserPrivileges) : # 返 回 服务 器 类 别 、 应 用 方法 
ServerList KEY-[] 定义 返回 的 服务 器 类 别 、 应 用 信息 列表 对 象 
serverclass-[] 定义 服务 器 类 别 列表 对 象 
serverapp-[] 定义 业务 应 用 列表 对 象 


# 追 加 服务 器 类 


# 别 名 称 <appname> 


4] .text.encode ('gbk') ) 


serverapp.append (class child[4].text.encode ('gbk') ) 


应 用 服务 器 '， 


相 比 B/S 结构 程序 ，C/S 结 构 的 男 一 缺点 是 不 方便 升级 ， 冶 


OManager 系 统 升级 的 原理 : 首先 将 升级 描述 文件 (updateMS.xml) , 
取 所 有 需要 升级 的 程序 包 ， 包 括 远程 URL 及 下 载 本 地 存储 地 址 ， 最 后 遍历 下 载 所 有 升级 包 到 指定 的 位 置 ， 


系统 升级 功能 


['www.a.com', 


ass.append (serverapp) 
EY.append (serverclass) 


L! 
libb — dd TETT: 


OManager 


[tmp/updateMS.xml] 


'www.b.com']]; 


了 分 软件 甚至 要 求 重新 安装 、 重 启 计算 机 等 操作 。 为 了 解决 此 问题 ，OManager 在 系统 升级 方面 结合 了 B/S 的 模式 ， 将 升级 包 放 在 远 
员 和 触发 升级 操作 ， 同 时 不 影响 当前 的 其 他 操作 ， 重 启 OManager 程 序 后 即 可 完成 升级 。OManager 系 统 升级 流程 图 见 图 16-13。 


[数据库 服 务 器 '， 


['www.c.com']]http: //www.hzcourse.com/resource/readl 


(D TREIE 


24— — —— (3) 下载 更 源 包 


升级 包 上 传 至 版 本 服务 器 ， 


updat eMS. xml 


图 16-13 系统 升级 流程 图 


由 管理 员 触 发 升级 操作 ， 再 通 


privileges QRAR 


过 遍历 以 上 提 到 的 两 个 XML 数 据 ， 将 当前 账号 的 权限 1D 列 表 与 服务 器 类 别 ID 进 


c21318 1,2, 3, 0, 6 


ellladc38dUbabSabbeb5elb5Tf2Uf5$53e &115082536daT8634126017Te0248bf 3a | root 


行 关联 ， 获 取 所 具备 的 权限 ， 即 


Book?path=/openresources/teach ebook/uncompressed/1: 


— xu 


UTIM, 


由 管理 


过 urllib 模 块 实现 HTTP 方 式 下 载 updateMS.xml 文 件 并 进 
完成 整个 升级 过 程 。 下 面 是 升级 描述 文件 updateMS.xml 的 示例 : 


版 本 服务 器 HTTP) 


行 分 析 ， 获 


«? xml version-"1.0" encoding-"UTF-8"? » 

«wml» 

«AppClass id-"1"» 
«localsrc»data/Serverinfo.xml«/localsrc» 


«remotesrc»/data/Serverinfo.xml«/remotesrc» 
«/ANppClass» 
«AppClass id="2"> 
«localsrc»data/ServerOptioninfo.xml«/localsrc» 
«remotesrc»/data/ServerOptioninfo.xml«/remotesrc» 
«/NppClass» 
XAppClass id="3"> 
«localsrc»OManager.10026.exe«/localsrc» 
«remotesrc»/OManager.exe«/remotesrc» 
«/NppClass» 
</wml> 


在 此 XML 文件 中 ，localsrc 与 remotesrc 分 别 表示 本 地 存储 地 址 及 远程 URL 路 径 ， 远 程 URL 文 件 与 本 地 路 径 建议 保持 一 致 ， 可 以 提高 系统 的 可 维护 性 ， 如 本 地 的 “data/serverinfo.xml” 与 远程 
的 “/data/Serverinfo.xml” ， 远 程 升级 包 目 录 结 构 见 图 16-14。 


upgrade/ 


I-—data 
| -—Serverinfo.xml 


| ———ServerOptioninfo.xml 
I-—OManager . exe 
———updateMS . xml 


图 16-14 ”远程 升级 包 存 储 路 径 
在 此 配置 中 ， 需 要 升级 的 程序 包 为 DOManagerexe、Serverinfo.xml、sServerOptioninfo.xml 三 个 ， 变 更 项 包括 了 添加 主机 信息 、 主 程序 优化 等 ， 下 面 介绍 升级 步骤。 
1) 上 传 升 级 相关 文件 到 版 本 服务 器 指定 位 置 ， 具 体 见 图 16-14。 


2) 更 新 数据 库 中 平台 最 新 版 本 号 ， 即 更 新 upgrade 表 的 version 字 段 ， 如 更 新 版 本 号 为 “10026” ; 用 户 会 根据 data/config.ini 中 的 upversion 键 值 与 最 新 版 本 号 进行 匹配 ， 当 小 于 最 新 版 本 号 时 将 触发 
升级 。 


3) 点 击 “ 系 统 升 级 ”工具 栏 图 标 进行 升级 ， 升 级 成 功 后 如 图 16-15 所 示 。 
升级 结束 后 ， 平 台 根 目 录 下 多 了 一 个 “OManager.10026.exe” 最 新 版 本 的 程序 包 ， 见 图 16-16。 


运行 “OManager.10026.exe”， 在 主 程序 左 侧 的 服务 器 列表 框 中 多 了 一 台 “218.31.20.11” 主 机 ， 见 图 16-17。 再 查看 data/config.ini 中 的 upversion 键 值 ， 已 经 改 为 “10026”， 说 明 系 统 已 成 功 升 


M OWManager 服 务 句 管理 vw2014 
MER) MERE) mesih) 帮助 {H) 


Mio-c000:00€ 


Ex 


OManagerflz2sss es F^, E 2014 


218.31.20.10 


EET 

2D01d-0T-12 12:21:54 
RERIETEBDERT... 
-ReeIz---------—------------- ME Manace r eA i Epl ---——-----———--— 


2014-07-12 12:25:46 


图 16-15 “系统 升级 成 功 


€? MD5sum.exe 2013/7/21 21:07 
M| OManager.10026.exe 2014/7/12 12:26 | 
OManager.exe 2014/7/12 12:20 

€ msvcm90.dll 2013/8/A 15:37 


$$ msvcp90.dli 2013/8/4 15:37 
S| msvcr90.dil 2013/8/4 15:37 
3| python27 dll 2012/4/10 23:31 
&| wxbase30u net vc90.dll 2013/12/28 2:21 
3| wxbase30u vc90.adll 2013/12/28 2:21 


图 16-16 ”升级 后 的 文件 列表 
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图 16-17 更 新 后 的 主机 列表 


介绍 完 系统 升级 的 操作 过 程 ， 下 面 介绍 OManager 实 现 升 级 功能 的 源码 分 析 ， 使 用 模块 urllib.urlopen (url) .read () 方法 实现 HTTP 协 议 文件 下 载 ， 使 用 xml.etree.ElementTree 模 块 实现 XML 文件 的 


分 析 。 
def load data (self, event) : # 系 统 升 级 方法 
try: 
if self.button.GetLabel () ==u" 关 闭 ": 
self.Destroy () 
url=self .updateURL+"/updateMS .xml" # 指 定 升 级 描述 文件 远程 及 本 地 路 径 
localfile-sys.path[0]-*'/tmp/updateMS.xxml' 
if not self.download (url, localfile) : # 下 载 升级 描述 文件 
return 
except Exception, e: 
wx.MessageBox (u" 更 新 描述 文件 下 载 失败 "+str (e), u"OManager: ", style-wx. 
OK|wx.ICON ERROR) 
self.Destroy () 
return 


try: 


# 打 开 升 级 描述 文件 ， 为 下 面 的 分 析 做 好 准备 


import xml.etree.ElementTree as ET 


update tree = 
up doc = update tree.getroot () 
except Exception, 


WX. 
seli 


Messagel 


return 
PEDIR, XXKBUTZUoASCIErR PUR TEFP BU ERR Ade. UUEH 
#download O 方法 实现 下 载 

upgrade count=0 


try: 


for cur child 


Box 


ET.parse (sys.path[0]-*'/tmp/updateMS .xml') 


e: 
Cu" 导入 更 新 包 出 错 "，u"OManager: ", style-wx.OK|wx.ICON ERROR) 


f .Destroy () 


in up doc: 


se 


sel 
se] 
se] 


except 
WX 


yE € 


upgrade count+=1 


url-se 


localfi 


if sel 


f.updateURL-4cur child[1].text 
le-sys.path[0]*'/'*cur child[0].text 
f.download (url, localfile) —-False: 


break 


sē 


E cs 


c 


.Messagel 
sel 


return 


Box 


.Set ("system", "Upversion", self.lastversion) d 3rconfi 


# 最 新 版 本 号 


.cf.write (open (sys.path[0]+'/data/config.ini', "w") ) 
.ConnStaticText.SetLabel (u" 成 功 更 新 "+str (upgrade count) "4 Xi Blhttp: / /www.hzcourse.com/resource/readl 
f.button.SetLabel Cu" Hj") 
Exception, 


g.ini 


ERROR) 


es 
Cu ACIE FARK", "Manager", style-wx.OK|wx.ICON : 


f.Destroy () 


Book?path-/openresources/teach ebook/uncompressed/14964/0t 


finally: 
pass 
event.Skip O 


16.5.5 ”客户 端 模块 编写 


OManager 提 供 客户 端 模块 开发 支持 ， 与 OMserver 的 实现 思想 一 样 ， 区 别 是 OMserver 基 于 HTML 表 单 来 定义 ， 而 OManager 基 于 XRC。XRC (XML Resource) 的 设计 来 源 于 wxWidgets， 原 理 是 将 
界面 设计 的 工作 从 程序 中 独立 出 来 ， 类 似 于 Django 开 发 框架 中 模板 系统 的 角色 ， 目 的 是 将 业务 逻辑 与 界面 进行 分 离 ， 好 处 是 代码 的 结构 会 更 加 清晰 ， 可 读 性 也 会 大 大 提高 。 具 体 做 法 是 通过 XML 格式 定义 系 
统 界面 ， 当 程序 运行 时 再 载 入 。XRC 的 使 用 手册 见 http://wiki.wxwidgets.org/Using XML Resources with XRC。OManagel 平 台 将 功能 模块 采用 XRC 设 计 ， 在 主 程序 中 按 功 能 分 类 导入 ， 效 果 见 图 16-18 


和 图 1 6-19, 
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图 16-18 ”功能 模块 菜单 
OManager 平 台 提 供 了 最 多 2 个 控件 参数 的 定义 ， 控 件 类 别 支持 wxSpinCtrl (微调 控制 器 ) 、wxListBox (列表 控件 ) . wxTextCtrl (文本 输入 控件 ) 等 ， 当 然 ， 扩 展 更 多 的 控件 类 型 也 非常 简单 ， 前 提 


是 需要 了 解 各 控件 的 属性 及 方法 ， 其 中 控件 值 会 被 当成 模块 参数 通过 rpyc 传 输 到 服务 器 端 。 下 面 为 “bas 1001 系统 日 志 .xrc” 功能 模块 的 设计 ， 包 括 一 个 容量 控件 wxPanel 对 象 ，wxPanel 对 象 包含 了 两 个 
对 象 ， 一 个 文字 标签 控件 wxstaticText 对 象 ， 通 过 <label> 元 素 定义 该 模块 的 功能 文字 说 明 ; 另 一 个 对 象 为 微调 控制 器 wxSpinCtr|， 通 过 <value> 元 素 定 义 默 认 值 ，<min> 与 <max> 定 义 控件 的 最 小 值 及 最 
大 值 。 更 多 的 控件 介绍 请 参考 : http://wiki.wxwidgets.org/Using XML Resources with XRC。 该 功能 模块 的 XRC 定 义 内 容 如 下 : 
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OManaoedRR SERPE 2014 | 


SelFEE-bas 1001 SH xxrc 


功能 撒 述 : DIMÉROSESMessage DER eim. 
Bo = 


fair | root 2014-07-12 18:53:30 


[Module/bas 1001 系统 日 志 .xrc】 


<? xml version-"1.0" encoding-"utf-8"? > 
<resource> 
«object class="wxPanel" name="panel"> 
«size»200, 100</size> 
<object class="wxStaticText" name-"labell"» 
<label> 功 能 描述 ， 显 示 服 务 器 Message 最 新 选择 条 数 的 记录 。</label> 
<pos>30, 20</pos> 
</object> 
<object class-"wxSpinCtrl" name-"Parameterl object id"> 
«style»wxSP ARROW KEYS«/style» i E 
«value»30«/value» 
«min»1«/min» 
«max»100«/max» 
«pos»30, 50«/pos» 
</object> 
</object> 
</resource> 


在 主 程序 中 ， 通 过 xrc.XmlResource () 方法 加 载 XRC 模 块 文 件 ， 使 用 xrc.XRCCTRL () 方法 获取 控件 对 象 ， 使 用 对 象 的 GetValue () skGetStringSelection () 方法 得 到 控件 输入 值 ， 其 中 
wxSpinCtrl、wxTextCtrl 控 件 使 用 GetValue () 方法 ，wxListBox 控 件 使 用 GetstringSelection () 方法 。 在 主 程序 中 调用 XRC 的 方法 ， 源 码 (部 分 ) 如 下 : 


from wx import xrc 

self.res = xrc.XmlResource (sys.path[0]-*'/Module/bas 1001 系统 日 志 .xrc') 
# 加 载 模块 资源 文件 

panel = self.res.LoadPanel (self, "panel") 加 载 panel 面 板 控件 
try: 


self.Parameterl = xrc.XRCCTRL (panel, 'Parameterl object id')  # 加 载 控 件 1 对 象 名 
except Exception, e: 
pass 


# 获 取 不 同 控件 的 返回 值 ，GetClassName() 方法 返回 控件 类 别名 ， 用 于 定位 不 同 控件 获取 value 的 方法 
try: 
if self.Parameterl.GetClassName () —-"wxSpinCtrl": 
self.Parameterl value-self.Parameterl.GetValue () 
elif self.Parameterl.GetClassName () --"wxlistBox": 
self.Parameterl value-self.Parameterl.GetStringSelection () 
except Exception, e: 


pass 


平台 功能 模块 XRC 文 件 命 名 遵循 一 定 的 标准 规范 ， 即 “模块 功能 类 别 模块 ID 功能 中 文 名 称 .xrc”， 文 件 名 将 会 以 “” 作为 分 隔 符 ， 拆 分 的 数据 将 应 用 到 系统 功能 中 ， 比 如 文件 名 前 缀 “模块 功能 类 
别 ” 会 根据 不 同类 别 代 号 加 载 到 不 同 功能 菜单 ， 实 现 源码 (部 分 ) 如 下 : 


bashmenu = wx.Menu () # 定 义 " 基 本 功能 "二 级 菜单 
appmenu = wx.Menu () 定义 "应 用 功能 "二 级 菜单 
dbmenu = wx.Menu () o8 X, s PE AA 
servicemenu - wx.Menu () XE XL "Jo GUI AS UI Be" — RKA 
middlemenu = wx.Menu (2 # 定 义 " 中 间 件 功能 "二 级 荣 单 
# 根 据 不 同 xRC 文 件 前 级， 将 三 级 菜单 追加 到 对 应 的 二 级 菜单 中 
For file info in self.Moduledetail: 
file array-string.split (file info, ' ') 
if file info[0: 3]--"bas": | iu 
bashmenu.Append (int (file array[1]) , file array[2]. file array[2]) 
elif file info[0: 3]--"app": 
appmenu.Append (int (file array[1]) , file array[2], file array[2]) 
elif file info[0: 3]=="dba": 
dbmenu.Append (int (file array[1]) , file array[2]. file array[2]) 
elif file info[0: 3]=="ser": 
servicemenu.Append (int (file array[1]) , file array[2]. file array[2]) 
elif file info[0: 3]--"mid": i ES E 
middlemenu.Append (int (file array[1]) , file array[2]. file array[2]) 


文件 “模块 1D” 段 将 作为 该 模块 的 唯一 标识 ， 与 服务 器 端 模块 进行 匹配 。 另 外 ， 要 求 模块 XRC 文 件 必 须 存放 于 平台 Module 目 录 。 以 下 为 客户 端的 所 有 模块 清单 ， 其 中 ID 为 “100*” 的 模块 ， 服 务 器 端 
已 完成 对 接 ， 其 他 部 分 读者 可 以 根据 自身 的 需求 自行 开发 或 扩展 ， 平 台 功 能 模块 XRC 文 件 列表 见 图 16-20。 


ER 

|] app. 1005 同步 应 用 文件 xrc 
|] app_1006 查看 应 用 配置 .xrc 
| | app_3200 YUM 安 装 .xrc 

| ] app_3201 硬件 检查 .xrc 

|] bas_1001 系统 日 志 .xrc 

| bas 1002 最 新 登录 .xrc 

_] bas J 


| | bas pepe 

| | bas 3106 系统 用 户 .xrc 

h bas 3107 系统 组 .xrc 

|] bas 3109 计划 任务 .xrc 

| ] bas 3110 活动 用 户 .xrc 

| | dba_3300 更 新 配置 .xrc 
|] dba 3302 重启 MySQL.xrc 
| | dba 3303 锁 进 程 .xrc 

|] dba 3304 写 语 句 .xrc 

|] dba 3305 检查 备份 .xrc 
|] mid 3500 消息 服务 .xrc 

| ] ser. 3400 后 台 分 析 检 查 .xrc 


16.5.6 执行 功能 模块 


由 于 OManager 只 有 两 层 结构 ， 与 服务 器 端的 通信 和 就 是 一 个 交互 过 程 ， 


修改 日 期 


2014/7/2 6:59 
2014/7/2 23:47 

2013/7/20 18:30 
2013/7/20 18:30 
2013/7/20 18:30 
2013/7/20 18:30 
2013/7/20 18:30 
2014/7/3 19:10 

2014/7/2 23:47 

2013/7/20 18:30 
2013/7/20 18:30 
2013/7/20 18:30 
2013/7/20 18:30 
2013/7/20 18:30 
2013/7/20 18:30 
2013/7/20 18:30 
2013/7/20 18:30 
2013/7/20 18:30 
2013/7/20 18:30 
2013/7/20 18:30 
2014/6/29 22:23 
2014/6/29 22:23 


图 16-20 “功能 模块 XRC 文 件 列表 


i m il 


XRC Xf 
XRC Xt 
XRC 文件 
XRC X 
XRC XT 
XRC 文件 
XRC 文件 
XRC xt 
XRC WYF 
XRC x^ 
XRC Suf 
XRC 文件 
XRC xXí€ 
XRC Xt 
XRC X^ 
XRC Xf 
XRC 文件 
XRC x (t 
XRC xt 
XRC Xf 
XRC 文件 
XRC w4 


由 客户 端 发 起 任务 请 求 ， 服 务 器 执行 任务 并 返回 操作 结果 ， 操 作 步 骤 见 图 16-21。 


大 小 


1 KB 
1 KB 
1 KB 
1 KB 
1 KB 
1 KB 
1 KB 
1 KB 
1 KB 
1 KB 
1 KB 
1 KB 
1 KB 
1 KB 
1 KB 
1 KB 
1 KB 
1 KB 
1 KB 
1 KB 
1 KB 
1 KB 
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HEHEA - app 10060 Zr EBVIBEUEL xc 


Heret : 查看 指定 的 服务 的 配置 信息 


2014-07-13 07:24:50 


输出 结果 


EE p://nginx. org/en/docs/ 
* " fic i id Ruzziarn D nc Ament at tis ün: http://mginx. org/ru/dars/ 


nx/error.log notice; 
/Áwar/lozg/nginx/error.log info: 


Juary run nginr. pid; 


worker connections 10241; 


PER : WAE mr: 7014-07-13 07:25:18 


图 16-21 功能 模块 执行 步骤 


为 提高 平台 的 通用 性 及 兼容 度 ，OManager 的 数据 封装 、 传 输 、 加 密 方式 及 服务 器 端 与 DOM server 一 致 ， 即 传输 采用 了 rpyc 框 架 、RC4 加 密 算法 、 服 务 器 端 同一 监听 服务 。 服 务 器 端的 实现 本 节 不 再 做 介 
绍 ， 具 体 可 参考 13.5.3 节 。 下 面 介绍 基于 wxPython 实 现 的 客户 端 提交 任务 的 几 个 方法 。 


try: 
conn-rpyc.connect (self. ip, int (self. port) ) # 连 接 *pyc 服 务 器 
# 调 用 login〔) 方法 实现 通信 屿 号 、 密 码 校 验 
conn.root.login ('OMuser', 'KJS2304ij09gHF734iuhsdfhkGYSihoiwhj38u4h') 
except Exception, e: 
message=u" 系 统 提 示 : 连接 远程 服务 器 超时 。"+str (e) 
wx.MessageBox (message，u"OManager 服 务 器 管理 平台 : "，style=wx.OK|wx.ICON ERROR) 
return 
# 调 用 OnGetSelectServerinfo 方 法 获取 计算 机 名 、 字 符 串 、 服 务 器 数量 
_ServVer _ list=self.OnGetSelectServerinfo (' E  ip'; 1, int (self. max servers) ) 
# 浏 断 用 户 是 否 选择 了 至 少 一 台 服 务 器 ， 不 选择 则 直接 返 
if not server list: 
return E 
# 操 作 记 录 调 用 了 Addsyslogs() 方法 写 入 user logs 表 ， 用 于 操作 记录 追溯 
Intologs.Addsyslogs (self. CurrentAdmin, un 操作 对象 : "+\ 
self.OnGetSelectServerinfo ('lip', 1, 20) +u"- 操 作 MID: "4GetModelestrrow[0]) 
# 合 并 提交 串 ， 格 式 : 模块 IDee 主 机 ITIPx 主 机 名 ，NQ6 参 数 166 参 数 2687” 
例如 : "100180192.168.1.21*SN2013-08-021603000" 
put stringt-str (GetModelestrrow[0]) +"@@"+ server list+"@Q@"+Parameter string 
# 调 用 tencode() 方法 对 提交 串 进 行 加 密 
put string-FunApp.tencode (put string, self. secret key) 
* # 调 用 *pyc 的 Runcommandqs O 方法 执行 任务 ， 返 回 的 结果 通过 de O 方法 解密 OPresult= FunApp.tdecode (conn.root.Runcommands (put string) , self. secret key) .decode ('utf8') 
# 在 "输出 消息 “ 框 输出 返回 结果 
self.OnWriteMessageBox (FunApp.format str (OPresult) ) 
conn.close () 


下 面 为 “输出 消息 ” 框 输出 消息 方法 ， 使 用 SetinsertionPoint (0) 获取 消息 插入 点 ， 通 过 WriteText () 方法 写 入 消息 ， 代 码 如 下 : 


def OnWriteMessageBox (self, message) : 
t = time.localtime (time.time () ) 


7 = time.strftime ("%Y-%m-%d $H: %M: %S", t) # 获 取 当 前 系统 时 间 
f.SysMessaegText.SetInsertionPoint (0) # 设 置 消息 框 插 入 点 ， 参 数 0 为 开始 位 置 


4 将 方法 参数 message (消息 内 容 ) 写 入 消息 框 
self.SysMessaegText.WriteText ("++++++++++++"+str (st) 十 "十 十 十 十 十 十 十 十 二 十 二 二 二 二 二 十 \n"+message+"\n") 
self.SysMessaegText.SetInsertionPoint (0) 


执行 任务 返回 的 结果 见 图 16-22。 另 外 OManager 的 窗 体 元 素 支 持 任意 角度 的 组 合 、 分 离 、 拖 动 等 ， 管 理 员 可 以 根据 不 同 喜好 进行 调整 


16.5.7 PEFR 


为 了 让 平台 在 没有 Python 以 及 第 三 方 模块 包 的 环境 中 正常 运行 ， 对 源 程 序 进 行 打 包 发 布 是 项 目 最 后 一 个 环节 ， 对 此 pyinstaller (http://www.pyinstaller.org) 提供 了 很 好 的 解决 方案 ， 其 支持 Linux 与 
Windows 平 台 可 执行 程序 的 制作 ， 简 单 易 用 。Pyinstaller 2.0 无 须 安 装 ， 解 压 即 可 使 用 ， 下 面 为 平台 打包 的 bat 批 处 理 脚本 。 


H-HHH-7C7HHHEHHHHHHHHHHHHHHHHH"HHoH-HR2014- 01-13 10:04: AHAHHH 
主机 : 192.168. 1. 21 


2D13-ü08-021 clamd[1152]: SelfCheck: Database status OK. 
3-Uüs-ü021 clamd[1152]: SelfCheck: Database status WK. 
z-üa-ü21 clamdá[i1152]: SelfCheck: Da | gtatus ÜK. 
3-08-021 clamd[1152]: SelfCheck: Ds | Etatus ÜE. 
z-Hü8-ü021 clamd[1152]: SelfCheck: Database status OK. 
z-Ha-ü21 clamá[i1152]: SelfCheck: Da | gtatus ÜK. 

j ^] clamd[l115?2]: Selftheck: Database status Wk. 

clamd [1152]: SelfCheck: Database status UK. 

3 04:60 2-021 clamd[1152]: SaelfCheck: statue DE. 
13 10:00:30 3Nz2012-ü08-021 clamad[1152]: Selftheck: UM status ÜK. 


2014-07-13 10: DA: DIH EHE EE Ht 


mem 视图 (E) TED) Ec 


—OManscedEE SE BIEK 2014 


2014-07-13. 10:04:35 


图 16-22 ”功能 模块 执行 结果 


[install.bat] 


cd D: MpythonNOManagerNOManager 
d: 


rd /S /Q dist 

rd /S /Q build 

del logdict2.7.3.final.0-1.10og 

python d: /soft/pyinstaller-2.0/pyinstaller.py --onedir -w --icon-img/imac.ico OManager.py 
copy MD5sum.exe distNOManager 

xcopy /s data distNOManagerNMdataV 
xcopy /s img dist\OManager\img\ 

xcopy /s Module dist\OManager\Module\ 
xcopy /s numbers distNOManagerNnumbers"N 
xcopy /s tmp dist NOManagerNtmpV 

rd /S /Q build 

rd /S /Q build 

del logdict2.7.3.final.0-1.10og 


假设 项 目 目录 为 “DNpythonXOManagemNOManager”， 参 数 “--onedir” 为 创建 的 一 个 上 目录， 包含 exe 文 件 以 及 相关 依赖 类 包 ; “-w” 表 示 制 作 视窗 界面 ， 无 控制 台 (命令 行 ) ; '--icon" TEXETA 
行程 序 图 标 ; “OManager.py” 为 平台 入 口 源 程序 。 通 过 xcopy 复 制 平台 相关 目录 到 打包 路 径 (如 dist\OManager) 。 打 包 后 的 目录 结构 见 图 16-23。 


ERAR 


J tmp 2014/7/13 10:11 
|j numbers 2014/7/13 10:11 
4 Module 2014/7/13 10:11 
Ji indude 2014/7/13 10:11 
E Img 2014/7/13 10:11 
dé data dine 10:11 


EF. 
zj 


5| wxmsw3Üu xrc vc90.dll /13/ 


wxmsw3üu. html vc90.dll 


wxmsw3Üu core wc90.dll 


P 


45 wxmsw3Üu aui wc9O.dll 
wxmsw3Üu adw wc90.dll 
wxDase3Du xml vc80.dll 
wxbDase3Du vc90.dll 
wxDase3Du net vcBO.dll 

| python27.dll 
msvcr9ü dl 
| msvcp90. dll 


MJ) RJ 
5» re rb 


[| msvcm990.dll 
四 | OManager.exe 

' MDS5zum.exe 013/7/21 21: 应 用 程序 
|_| wx. xrc.pyd 2014/6/29 11:50 PYD wF 


E 16-23 ”打包 后 生成 的 文件 列表 


最 后 一 步 就 是 制作 安装 包 ， 我 们 可 以 简单 对 目录 制作 压缩 包 发 布 ， 也 可 以 使 用 更 加 专业 的 安装 包 制 作 工 具 ， 如 Advanced Installer, Inno Setup, Smart Install Maker 等 ， 最 终 将 生成 一 个 安装 包 文 
件 “Setup.exe”， 单 击 安装 后 的 效果 见 图 16-24。 
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图 16-24 系统 安装 界面 
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